研究发现：中等训练阶段的知识蒸馏更利于推理而非事实记忆，提出 Switch Distillation 方法
Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
基于 logit 的知识蒸馏在中训练阶段会拖慢事实记忆的习得，但推理能力仍持续提升，原因是教师模型对程序性数据更有信心、而学生模型更早掌握低熵事实知识。为此提出的 Switch Distillation 以教师预测熵为路由信号，仅在教师有信心的 token 上蒸馏，其余回退到交叉熵。
来源：Hugging Face Daily Papers · arxiv.org