跳到正文
Hugging Face Daily Papers·· 29 天前AI 评分42

GAPO:面向 GRPO 的组自适应裁剪策略优化

Group Adaptive Clipping Policy Optimization

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

针对 GRPO 类方法在所有 rollout 上使用固定重要性采样裁剪边界的问题,研究者提出组自适应裁剪策略优化 GAPO,按 rollout 优势自适应调整裁剪阈值,无需奖励塑形并保留标准 PPO/GSPO 代理目标。

来源:Hugging Face Daily Papers · arxiv.org