Hugging Face Blog·· 3 天前精选AI 评分60
VocabX 如何通过特化 SLM 词表将推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文，介绍按 token 成本而非出现频率重建小模型词表的方法，在基于 Qwen3-4B 的葡语作文评分器上将实测推理成本降低 77.0%，平均回复长度从 350 个 token 降至 101 个。
推荐理由
以生产环境葡语作文评分器为例，展示词表特化如何在不改基座模型的前提下降低推理成本，并给出压缩与质量取舍的教训。
来源：Hugging Face Blog · huggingface.co