AgentBug-Smith基准：编码Agent修复自身Bug能力低

2026年10月，Rohan Paul在X上介绍了AgentBug-Smith论文。该研究把真实GitHub bug报告自动转化为可运行测试，构建了含200个可复现bug且持续增长的Live-Harness-Bench基准。结果显示，最好的编码智能体只能修复其中9%的此类bug，远低于常规软件bug约40%的修复水平。论文还尝试用过往修复经验提炼的简短指南来提升表现：加入指南后，一个智能体在79个未见bug上的正确修复数从1个提升到6个。目前该基准仍在持续增长，相关能力提升手段的效果仍有限。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。