Epoch AI 用内部真实工作任务评测前沿模型:Claude Fable 5.1 与 GPT-6 Astra 平均得分 65%
We tried to automate Epoch
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Epoch AI 将内部日常工作(如图形设计、研究项目规划)整理为 Epoch Automation Reports,按人类员工同样的评分标准评测 AI。领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%,即达到人类员工评分标准的 65%,但仍属任务失败。
推荐理由
Epoch 用自家真实工作任务按人类标准评测 AI,解释了 65% 的分数为何仍等于任务失败,以及基准与经济影响之间的落差来源。
来源:Epoch AI:Gradient Updates · epochai.substack.com