跳到正文
Hugging Face Blog·· 3 小时前AI 评分58

VocabX 通过词表专业化将 SLM 推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 提出 VocabX 方法,按 token 生成成本而非频率重建领域专用小模型的词表,在葡萄牙语作文评分系统上实测推理成本降低 77%,响应 token 数从 350 降至 101,质量评分从 0.703 升至 0.810。该方法同时优化子词和多词宏 token,并在五个公开领域、三个模型族上均优于现有词表迁移方法。

来源:Hugging Face Blog · huggingface.co