跳到正文
原文
Hugging Face Daily Papers·· 2 天前AI 评分35

邻近监督更优:Neighborhood OPSD 自蒸馏方法提升数学推理模型性能

Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation

AI 导读

Neighborhood OPSD(N-OPSD)通过局部参数扰动构建冻结专家池,将参考对齐修正转化为学生可用的监督信号,在 AIME 2024、AIME 2025 和 HMMT February 2025 三项基准上,将 Average@12 较标准 OPSD 分别提升 2.75、1.67 和 1.94 分(对应 Qwen3-1.7B、4B、8B)。推理时仅使用蒸馏后的学生模型。

来源:Hugging Face Daily Papers · arxiv.org