跳到正文
Amazon Science·· 2026-08-21AI 评分59

Amazon 发布 SOP-Bench:评估 AI 智能体执行真实业务流程的基准

SOP-Bench: A new benchmark for evaluating AI agents on real business procedures

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Amazon 在 KDD 2026 发布开源基准 SOP-Bench,用领域专家撰写的真实 SOP 配套可调用工具和标准答案,覆盖 12 个业务领域、超过 2000 个任务。实验显示模型升级可能降低成功率、工具数量增加会使成功率近乎减半,最易流程正确率约九成而最难约四分之一;基准已上线 GitHub 和 HuggingFace。

来源:Amazon Science · amazon.science