SWE-Bench Pro Verified：面向软件工程智能体的可靠评测基准
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
论文发布 SWE-Bench Pro Verified，针对 SWE-Bench Pro 的两类可靠性问题做修正，形成更可信的软件工程智能体评测基准。原基准的问题一是奖励攻击，源自定义解法或隐藏评测信息泄漏；二是任务质量，包括问题陈述误导与测试范围不当，这些都会抬高分数。
来源：Hugging Face Daily Papers · arxiv.org