VocabX 如何通过特化 SLM 词表将推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,介绍按 token 成本而非出现频率重建小模型词表的方法,在基于 Qwen3-4B 的葡语作文评分器上将实测推理成本降低 77.0%,平均回复长度从 350 个 token 降至 101 个。
推荐理由:以生产环境葡语作文评分器为例,展示词表特化如何在不改基座模型的前提下降低推理成本,并给出压缩与质量取舍的教训。
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,介绍按 token 成本而非出现频率重建小模型词表的方法,在基于 Qwen3-4B 的葡语作文评分器上将实测推理成本降低 77.0%,平均回复长度从 350 个 token 降至 101 个。
推荐理由:以生产环境葡语作文评分器为例,展示词表特化如何在不改基座模型的前提下降低推理成本,并给出压缩与质量取舍的教训。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍,证明验证约需 12 毫秒。
微软研究院实习生构建的机器学习流水线可为美国本土 66,935 座变电站生成 30-60 分钟前的局地空间天气风险估计,评估期内检出近 80% 的重大空间天气事件。
Import AI 470 期介绍了三项研究:METR 分析显示 AI 在网络安全领域带来显著加速,数学领域贡献有限,AI 研究自身优化则无可测量加速;SPADE 框架让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3,比基座高 8.1;另有 Hawkeye 用于构建更好的 GPU kernel。
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 框架扩展出 MLX 后端,并设计结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。