跳到正文
Hugging Face Daily Papers·· 2 天前AI 评分54

FDE-Gym:评估 AI 前向部署交付能力的基准

FDE-Gym: The Last Mile of AI Delivery

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

论文推出 FDE-Gym 基准,包含来自 20 个客户场景、18 个行业的 95 个端到端交付任务,由行业专家从真实交付项目改编。评估 7 家厂商的 13 种模型配置,最佳配置在需自行发现隐性约束的现实设定下平均得分 0.56,仅解决 14 个任务;即使模型从利益相关者获取全部关键信息的 23 个任务中,也只有 10 个达到 0.8 以上的业务提升。

来源:Hugging Face Daily Papers · arxiv.org