FDE-Gym:评估 AI 前向部署交付能力的基准
FDE-Gym: The Last Mile of AI Delivery
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
论文推出 FDE-Gym 基准,包含来自 20 个客户场景、18 个行业的 95 个端到端交付任务,由行业专家从真实交付项目改编。评估 7 家厂商的 13 种模型配置,最佳配置在需自行发现隐性约束的现实设定下平均得分 0.56,仅解决 14 个任务;即使模型从利益相关者获取全部关键信息的 23 个任务中,也只有 10 个达到 0.8 以上的业务提升。
来源:Hugging Face Daily Papers · arxiv.org