跳到正文
原文
Hugging Face Blog·· 3 小时前精选AI 评分61

Microsoft 与 Hugging Face 发布 ThinkingBox,以数据库终态评测 Agent 真实成效

The Agent Said It Was Done. The Database Disagreed.

AI 导读

Microsoft 与 Hugging Face 发布 ThinkingBox 沙箱和 ThinkingBox-Bench 基准,通过 507 个有状态业务工作流、每个任务独立运行 20 次,用可执行检查评分 Agent 留下的终端数据库状态和副作用,而非工具调用或最终回复。

推荐理由

原文给出基于数据库终态评分和多轮一致性指标的结果,读者可以据此重新审视现有 agent 评测只看 pass@1 的做法。

来源:Hugging Face Blog · huggingface.co