Sakana AI 与东京大学提出 SAIL:用测试时扩展提升 VLM 机器人轨迹生成可靠性
Sakana AI 与东京大学合作提出 SAIL(Scaling In-Context Imitation Learning),通过测试时扩展让 VLM 更可靠地生成机器人轨迹,该工作将在 IROS2026 展示。
Sakana AI 与东京大学合作提出 SAIL(Scaling In-Context Imitation Learning),通过测试时扩展让 VLM 更可靠地生成机器人轨迹,该工作将在 IROS2026 展示。
Microsoft Research 宣布在 Physical AI Toolchain 中新增推理卸载能力,可将机器人 AI 工作负载容器化并通过 Kubernetes 编排到机器人、边缘与云端 GPU。
Sakana AI 宣布 Jürgen Schmidhuber 出任首席科学顾问,同时保留现职,并将参与新设的 RSI Lab。他将协助公司开发 Agent-Native World Models,用于在行动发生前安全模拟物理后果,服务于日本制造业与机器人应用,并定期赴东京支持团队和日本 AI 生态。
NVIDIA 在 ROSCon 大会上发布 Isaac ROS 5.0,新增智能体工作流与平台支持,支持 ROS Lyrical 和 Ubuntu 24.04。
NVIDIA 发布 Halos 全栈安全系统,用于物理 AI 在设计、验证和部署各环节的安全工程。该系统面向自动驾驶提供 DRIVE AGX Thor、Hyperion。
Runway 宣布巴黎 AI 研究实验室 Kinetix 团队加入 Runway。该团队在 3D 人体运动与物理约束视频生成方面的积累将用于 Runway 面向机器人学的世界模型研究,团队将加入 Runway 巴黎枢纽,公司同时在巴黎招聘研究与工程岗位。
Google 在 CHI 2026 发布研究原型 AgentHands,可将 LLM 的推理输出映射为 XR 中与语音同步的手势,让 AI 智能体在 3D 空间里用手演示而非仅靠语言描述。系统包含环境感知、手势事件库、手势嵌入推理和 XR 同步执行四个模块,手势按左右手、空间锚定、时序动效等维度分类。在 N=12 的用户研究中,AgentHands 相比纯语音基线在空间指向上取得显著提升。
微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上表现明显优于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成工具仅在单帧内保留结构关系时有用,跨多步操作仍不可靠。
Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型,可通过连续视频流追踪任务进度、编排多步任务,并支持多机器人协作,将运动执行交给下层 VLA 模型。
推荐理由:官方公布具身推理模型的能力指标与 API 入口,开发者可以据此评估它在实体机器人任务编排中的可用性。
Google DeepMind 发布 Gemini Robotics 2 系列模型,包含 VLA 模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和可本地运行的 Gemini Robotics On-Device 2,实现人形机器人全身控制、精细操作和多机器人协作。
推荐理由:官方完整说明了三个模型的能力分工、适配速度和安全基准,读者可了解机器人全身体智能的最新进展与获取方式。
Mistral AI 发布首个具身导航模型 Robostral Navigate,8B 参数,仅用单个普通 RGB 相机和自然语言指令即可让机器人在复杂环境中自主导航,在 R2R-CE validation unseen 达到 76.6% 成功率,领先最佳单相机方案 9.7 分、领先使用深度或多相机方案 4.5 分。
Runway 宣布以创始成员身份加入 Cosmos Coalition,与 NVIDIA 及多家 AI 实验室共建开放世界模型生态。联盟首个项目是由 Runway 和 NVIDIA 联合开发的基础模型。该联盟围绕共享基础设施与双向技术贡献组建,旨在加速世界模型研发并推动物理 AI 的互操作性。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的"状态-输入"梯度。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维隐空间失效模式等问题,使基于梯度的长时程规划更稳健。
Google DeepMind 发布 Gemini Robotics-ER 1.6,提升机器人在空间推理、多视角理解、任务规划和成功检测方面的能力,并新增仪表读数功能。
推荐理由:官方给出了与上一代的具体能力对比和仪表读数新用例,读者可据此评估其是否适配现有机器人方案。