ActionOPD:蒸馏决策而非 token,实现智能体动作级在线策略蒸馏
ActionOPD: Distilling Decisions, Not Tokens
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
ActionOPD 提出一种动作级在线策略蒸馏方法,在学生的每个状态上从学生和黑盒教师分别采样动作,按语义一致性奖励学生动作,无需教师 token 概率或共享 tokenizer。用两个教师训练 Qwen3-4B 和 Qwen3-8B,在四个分布外基准上平均提升 3.3-6.9 个百分点,并在 τ²-bench 上媲美离线蒸馏与 token 级 OPD。
来源:Hugging Face Daily Papers · arxiv.org