跳到正文
Hugging Face Daily Papers·· 15 天前AI 评分40

OSWorld-Pro:面向计算机使用智能体的过程式评测基准

OSWorld-Pro: Process-based Evaluation for Computer Use Agents

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

OSWorld-Pro 是一个面向计算机使用智能体(CUA)的过程式评测基准,包含 300 多个任务、2800 多个子目标,基于 67000 多条人工标注,用人类对齐的 LLM-Judge 评估子目标完成情况。该基准对 SOTA 模型仍有挑战,Claude Opus 5 仅得 75.7%,低于其在 OSWorld 上的 83.4%。研究还识别出子目标无关操作、点击类错误等过程性失败模式。

来源:Hugging Face Daily Papers · arxiv.org