CNF-MCE分词框架提升大模型压缩率

2026年10月14日，InfoQ报道了一篇arXiv预印版论文提出的CNF-MCE分词框架。该框架通过直接统计候选词表并按实际使用频率过滤，再使用最小代价编码（MCE）进行全局最优切分，以替代BPE的贪心合并策略。报道称，该框架使大模型Token压缩率最高提升67%。目前该工作处于预印版论文阶段，尚无后续进展报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。