GAPO:面向 GRPO 的组自适应裁剪策略优化
Group Adaptive Clipping Policy Optimization
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
针对 GRPO 类方法在所有 rollout 上使用固定重要性采样裁剪边界的问题,研究者提出组自适应裁剪策略优化 GAPO,按 rollout 优势自适应调整裁剪阈值,无需奖励塑形并保留标准 PPO/GSPO 代理目标。
来源:Hugging Face Daily Papers · arxiv.org