TGOPD:在蒸馏前验证教师可靠性,提示词级门控提升 on-policy 蒸馏效果
Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 Teacher-Gated On-Policy Distillation(TGOPD),在提示词级别先验证教师可靠性,再决定是否使用稠密 OPD 监督,未通过则改用 verifier-grounded GRPO。
来源:Hugging Face Daily Papers · arxiv.org