iPrefBench:面向个性化移动使用智能体的以用户为中心基准
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
iPrefBench 是评估个人移动使用智能体“推断与询问”能力的基准,运行在可执行的 iOS 环境中并配有交互式模拟用户,基于含 3,051 条历史活动事件的连贯人设,覆盖 26 个应用的 130 个欠指定任务。对 7 个前沿智能体的评测显示,动作完成分最高达 91.6%,但完整任务成功率最高仅 47.7%,个性化明显落后于执行能力,且在只能询问用户的信息上表现尤差。
来源:Hugging Face Daily Papers · arxiv.org