CriticOPD:用批判引导的在线策略蒸馏恢复可靠监督
Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
针对在线策略蒸馏(OPD)在错误 rollout 上教师会跟随学生错误、丧失可恢复性的问题,研究者提出 CriticOPD:让教师对错误 rollout 给出批判,学生据此重写解答,教师以批判作为特权信息对改写结果打分,学生训练时只用改写结果不用批判。在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,在竞赛题上提升最大。
来源:Hugging Face Daily Papers · arxiv.org