VocabX 如何通过特化 SLM 词表将推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,介绍按 token 成本而非出现频率重建小模型词表的方法,在基于 Qwen3-4B 的葡语作文评分器上将实测推理成本降低 77.0%,平均回复长度从 350 个 token 降至 101 个。
推荐理由:以生产环境葡语作文评分器为例,展示词表特化如何在不改基座模型的前提下降低推理成本,并给出压缩与质量取舍的教训。
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,介绍按 token 成本而非出现频率重建小模型词表的方法,在基于 Qwen3-4B 的葡语作文评分器上将实测推理成本降低 77.0%,平均回复长度从 350 个 token 降至 101 个。
推荐理由:以生产环境葡语作文评分器为例,展示词表特化如何在不改基座模型的前提下降低推理成本,并给出压缩与质量取舍的教训。
微软研究院 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 KLS 猜想,确认高维对数凹分布的最优超平面切割与任意形状切割之差不超过一个与维度无关的固定常数。
推荐理由:读者可了解 KLS 猜想如何被证明,以及人类主导、AI 智能体并行探索并筛选的研究流程如何运作。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍,证明验证约需 12 毫秒。
Import AI 476 期介绍了 Elorian 与 Scale AI 发布的 Humanity's Sixth Sense 基准,用 522 道题测试多模态模型的直觉视觉推理,人类 pass@1 为 93.1,表现最好的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 框架扩展出 MLX 后端,并设计结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接注入随机性以探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型梯度脆弱等问题,使基于梯度的长时程规划更稳健。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 中驱动输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。