MobilePA-Bench:面向复杂真实任务的移动规划智能体基准测试
MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
MobilePA-Bench 是一个交互式、有状态、以工具调用为核心的移动规划智能体基准,运行在可执行沙箱中,覆盖 13 个功能领域和 212 个真实移动工具。除基础工具使用外,它还从子智能体协作、记忆使用和技能使用三个维度评估规划智能体。实验显示,当前前沿 LLM 在严格工具顺序、权限限制和运行时错误下表现明显下降。
来源:Hugging Face Daily Papers · arxiv.org