跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分43

TraceForge:用模型自身的思考风格蒸馏推理轨迹

TraceForge: Distilling with Your Own Thinking

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

TraceForge 提出一种不依赖厂商隐藏推理轨迹的蒸馏方法:以教师模型的答案和上下文为输入,由生成器按学生模型家族的风格自行生成推理过程,再经监督与对抗两阶段训练。独立评审给出的真实性得分为 0.68,真实轨迹为 0.66,经 critic 从四个候选中筛选后达 0.82。在相同 5000 道题与相同教师答案下,HumanEval+ 提升 3.7 分、MBPP+ 提升 7.1 分。

来源:Hugging Face Daily Papers · arxiv.org