MRTPO:将每个奖励分配给其相关 token 的多奖励 RL 信用分配方法
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
针对多奖励强化学习中 GDPO 将每个奖励优势均匀铺满整条回复的问题,研究者提出 MRTPO,利用各奖励验证器所检查的信息,把每个奖励的优势只分配给与之相关的 token,无需辅助模型或 token 级标注。
来源:Hugging Face Daily Papers · arxiv.org