StepGuard:用可扩展监督与安全效用平衡学习步级护栏
StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
StepGuard 是一个步级护栏模型,可在智能体工具动作执行前进行审查,也能审计已完成的轨迹。其配套数据引擎 StepGen 生成同一上下文、仅风险步骤动作不同的安全与不安全轨迹,Balance-GRPO 则按观测准确率动态平衡两类动作的学习。
来源:Hugging Face Daily Papers · arxiv.org