研究：On-Policy Distillation 真的在蒸馏吗？从噪声教师到自我改进
Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究量化分析 On-Policy Distillation（OPD）训练中的教师监督，发现存在大量噪声且随教师规模增大而增多，但学生策略对噪声不敏感，去除噪声后性能相当。
来源：Hugging Face Daily Papers · arxiv.org