如何通过专业化 SLM 词表将实际应用中的推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
基于 Qwen3-4B 的葡萄牙语作文自动评分系统通过 VocabX 方法重建词表，在保持基座模型、数据和训练配方不变的情况下，实测推理成本降低 77%。VocabX 按每个 token 的成本而非出现频率来筛选词表，使输出层从约 152,000 行缩减至约 65,000 行。
来源：Hugging Face Blog · huggingface.co