Influence-Directed Distillation：解决采样 token 在线策略蒸馏中的多样性瓶颈
Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
针对采样 token 在线策略蒸馏（OPD）中 pass@1 提升但 pass@k 停滞的多样性蒸馏失败问题，研究者提出一阶局部熵影响（First-Order Local Entropy Influence），将每次更新的熵效应拆解为师生对数概率差与学生局部概率结构。
来源：Hugging Face Daily Papers · arxiv.org