FDE-Gym基准发布
先了解这件事
2026年10月15日,Hugging Face Daily Papers报道了FDE-Gym基准的推出。该基准包含来自20个客户场景、18个行业的95个端到端交付任务,由行业专家从真实交付项目改编,用于评估AI的前向部署交付能力。研究评估了7家厂商的13种模型配置:最佳配置在需自行发现隐性约束的现实设定下平均得分0.56,仅解决14个任务;即使在模型从利益相关者获取全部关键信息的23个任务中,也只有10个达到0.8以上的业务提升。10月16日,DAIR.AI在X上进一步介绍该基准,称其把AI智能体当作前向交付工程师来评测,任务全部来自真实交付项目,智能体需追问脚本化客户、在类生产系统中作业,并找出客户未明说的约束;并指出主要失败原因是漏掉未明说的约束,最佳配置在95个任务中仅完全解决14个,13种配置最高平均分0.56,在已收集齐全部关键事实的23个任务上也只有10个达到0.8及以上。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- DAIR.AI (@dair_ai) · XFDE-Gym:智能体当交付工程师,95 个真实任务仅全解 14 个
FDE-Gym 把 AI 智能体当作前向交付工程师来评测,任务全部来自真实交付项目,智能体需追问脚本化客户、在类生产系统中作业,并找出客户未明说的约束。最佳配置在 95 个真实客户交付任务中仅完全解决 14 个;来自 7 家提供商的 13 种配置里最高平均分 0.56,主要失败原因是漏掉未明说的约束。即便在最佳配置已收集齐全部关键事实的 23 个任务上,也只有 10 个达到 0.8 及以上。
- Hugging Face Daily PapersFDE-Gym:评估 AI 前向部署交付能力的基准
论文推出 FDE-Gym 基准,包含来自 20 个客户场景、18 个行业的 95 个端到端交付任务,由行业专家从真实交付项目改编。评估 7 家厂商的 13 种模型配置,最佳配置在需自行发现隐性约束的现实设定下平均得分 0.56,仅解决 14 个任务;即使模型从利益相关者获取全部关键信息的 23 个任务中,也只有 10 个达到 0.8 以上的业务提升。
本事件热度走势
当前热度 12·可比范围峰值 13(10月16日 23:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。