On-Policy Self-Distillation 综述：崩溃是症状，三个杠杆决定成败
One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
一篇 30 页综述将 On-Policy Self-Distillation（OPSD）的核心失效模式"崩溃"归结为三个杠杆：信号施加位置（token 加权方式）、教师模型看到的信息（特权信息性质）、信号变化时机（教师动态与引导衰减）。
来源：Hugging Face Daily Papers · arxiv.org