章鱼动力 SYNWorld V0.5 具身世界模型发布:全栈 Scaling Engine 驱动,多项评测领先 π0.5 与 Cosmos3 Nano
全栈 Scaling Engine 驱动,章鱼动力具身原生世界模型 SYNWorld V0.5 多项评测领先 π0.5 与 Cosmos
章鱼动力发布具身原生世界模型 SYNWorld V0.5,依托自研全栈 Scaling Engine 训练,在真机四项任务、LIBERO-Plus 仿真和视频生成双盲评测中均领先 π0.5 与 Cosmos3 Nano。
原创 尹John 2026-10-21 22:02 北京
依托全栈 Scaling Engine 训练,领先 π0.5 和 Cosmos3 Nano,推理快 60 倍
8 月的世界机器人大会(WRC)上,成立才 7 个月的章鱼动力(SynapX)发布了具身世界模型 SYNWorld V0.5。
展台上方有块大屏,机械臂在下面拼积木,屏幕上则把它的当前状态和模型预测的未来画面并排显示。如果你细节观察,会看到一个细节:预测画面总是能比机械臂的实际动作先一步出现。
但那时能获取到的信息并不太多,能知道的基本就是 MoT 架构、30 万小时数据,再加上 ACWM、WAM 两个缩写。
终于在上周五,章鱼动力在官方网站与微信公众号同步发布了一篇关于 SYNWorld V0.5 的技术博客,第一次完整公开了背后的 Scaling Engine、训练数据、模型架构和评测结果。
微信公众号:SYNWorld V0.5:从 Scaling Engine 到具身原生基础模型
官网:https://www.synapxdynamics.ai/blog/2
真机和仿真评测中,SYNWorld V0.5 都领先 π0.5 与英伟达 Cosmos3 Nano,视频生成的双盲评测也胜过了 Cosmos3 Nano。
章鱼动力今年 1 月成立,创始人都大龙是地平线的第 6 号员工。
公司的技术路线叫「脑-手-数据」:SYNWorld 世界模型是脑,OctoH-Hand 灵巧手是手,OctoSense 是数采方案,三者协同迭代。
全栈 Scaling Engine
01
SYNWorld 的背后,是一套把数据、训练和部署评测放在一起协同设计的基础设施,章鱼动力叫它 Scaling Engine。
V0.5 正是依托这套系统训练出的第一个版本。
它的出发点是 Sutton 那篇 The Bitter Lesson(苦涩的教训):能随算力扩展的通用方法,长期来看总会赢。
而章鱼动力在这之上又加了一个判断,Scaling 是「各向异性」的。
模型容量、数据规模、模态覆盖、任务与场景,这四个方向都能扩展。但同样的投入换来的提升并不一样,所以要靠实验找出当前阶段「斜率最大」的那个方向。
数据系统是一套自研的、基于 Ray 的分布式流水线,解码、筛选、标注、编码各自独立配置资源和并发。
计算、网络、存储也都做了协同优化,数据处理和训练共享同一个资源池,按需弹性扩缩。
甚至连运维都交给了 Agent,由它诊断瓶颈、编排实验。
训练系统则是一个组件化的统一框架,支持多任务联合采样、变长序列打包、自定义 Attention Mask 与上下文并行。
并行策略上,TP、PP、EP、CP、HSDP 按需组合,checkpoint 也是异步保存的。
这一整套系统级优化下来,训练效率提升了 10 倍。
30 万小时训练数据
02
SYNWorld 的训练数据总量超过 30 万小时,目前每天还在新增 1 万小时以上,覆盖 1000 多个场景、10 多种机器人本体。
数据层 | 规模 | 主要提供 |
|---|---|---|
通用图像/视频 | >10 万小时 | 世界知识、视觉结构、时间动态 |
Ego 第一视角 | ≈10 万小时 | 人类行为、交互过程、长时任务 |
UMI 数据 | >5 万小时 | 状态、动作与结果的对应 |
真机任务实采 | ≈3 万小时 | 精细操作、困难样例、能力边界 |
其中,真机采集的数据约 3 万小时,只占一成左右,更多的是通用视频、人类第一视角(Ego)和 UMI 数据。
人类数据之所以能用起来,靠的是一套统一的 59 维动作表示。
除了相机和身体的运动、左右腕的位姿与夹爪开口,左右手各五个指尖的位置也被写进了动作空间。
人手数据和机器人数据,便能在同一套接口里一起训练。
至于人手数据的采集,章鱼动力用的是自研的肌电全模态数采方案。
戴一个腕部手环,就能靠肌电信号重建手部姿态,还能估计触觉信息,采集门槛也随之降低。
从视频生成出发
03
现在机器人大模型的主流做法是 VLA,比如 Physical Intelligence 的 π0.5,在视觉语言模型的基础上增加动作输出。
SYNWorld 走的则是具身原生世界模型路线,先学视频生成,再学动作,让模型理解物体如何运动、动作如何改变环境,再据此生成动作。
模型采用 Mixture-of-Transformers(MoT)架构,语言、视觉、动作三种模态各自保留参数,通过跨模态注意力交换信息。
预训练分两步,先用通用图像和视频学习视觉生成(GV),再加入 Ego、UMI 和机器人数据,联合学习视觉与动作(GVA)。
从同一个 GVA 底座出发,又后训练出了两个模型:
WAM(世界动作模型)负责执行任务,根据观测和指令,同时生成未来的动作和画面。
ACWM(动作条件世界模型)负责预演,给定一组动作,预测环境接下来会怎样变化。
博客里的 ACWM 演示中,操作员戴着手套做动作,模型实时生成机械手跟随动作的画面:
推理快 60 倍
04
世界模型每做一次决策,都要连带生成一段画面,推理速度直接决定了它能不能用在真机上。
环节 | 优化手段 | 优化前 | 优化后 |
|---|---|---|---|
单步推理 | 编译、FP8、CP4 | 263 ms | 64.63 ms(4.07×) |
完整去噪 | 两步 DMD2 蒸馏 | 7934.61 ms(30 步) | 131.28 ms(2 步,60.44×) |
视频解码 | 编译、宽度切分、CUDA Graph、Winograd | 1418.14 ms | 149.64 ms(9.48×) |
原本 30 步去噪要将近 8 秒,机器人每「想」一下,就得在那儿干等 8 秒……
现在缩短到了 131 毫秒,快了 60 倍。
视频解码也从 1.4 秒缩短到 150 毫秒,而且放在另一组 GPU 上异步执行,动作输出不用等画面解码完。
领先 π0.5 与 Cosmos3 Nano
05
评测分为真机任务、LIBERO-Plus 仿真,和视频生成的双盲人工偏好三类。
真机评测选取了摆放餐具、倒豆子、摞盘子、叠衣服四项任务,分别用 50、100、200、400 条示教做后训练,对比用不同预训练模型初始化的效果。
和 π0.5 相比,SYNWorld V0.5 在全部 16 组对比中都领先。
示教越少,优势越明显,比如倒豆子只有 50 条示教时,是 51.47 比 30.14。
在 400 条这一档,四项任务的得分也都高于 Cosmos3 Nano。
下面是 WAM 只用 50 条示教做后训练的真机表现(四个视角同步播放):
在带七类扰动、共 10030 个案例的 LIBERO-Plus 仿真评测中,SYNWorld V0.5 的总体成功率为 87.78%,高于 Cosmos3 Nano 的 85.66% 和 π0.5 的 85.41%。
视频生成的双盲评测以 Cosmos3 Nano 为基线,一共 60 组对比。
语义遵循、视觉质量、物理规律三项的净偏好率,分别为 46.7%、26.7% 和 51.7%。
手脑一体
06
模型之外,章鱼动力同时在做灵巧手和数采硬件。
8 月一起发布的 OctoH-Hand,是一只高自由度的仿生绳驱灵巧手。
它有 23 个主动自由度、28 个独立可控的执行器,手上还集成了 1900 多个触觉传感单元。
章鱼动力的判断是,大量工具和工作空间本来就是照着人手设计的,很多任务离不开手内调整、多点接触和多指协同。
所以他们选择了灵巧手作为核心执行形态,让数据、模型和硬件一起迭代。
SYNWorld 负责理解和预测,OctoH-Hand 负责精细执行,OctoSense 负责采集人类操作数据,三者构成了一个数据闭环。
博客中还给出了后续方向:
• 围绕自研灵巧手做手脑协同,比如把 Ego 数据里的人手动作重定向到自家硬件上
• 扩展肌电全模态数采,引入力觉、触觉等模态,学习更完整的物理交互
• 继续扩大模型、数据和训练规模,用学会任务所需的示教量来衡量收益
• 用 agent harness 让 Agent 串起实验设计、数据处理、训练和结果分析,让研发循环更能自主迭代
V0.5 已经把 Scaling Engine 这套大模型基建打造完善,并秀出了第一份亮眼的评测成绩单。
接下来,等手脑一体和力觉、触觉等模态陆续加入后,将是一整套模型、数据、硬件协同的全栈化体系。
其想象空间,非常值得期待。
◇ ◆ ◇
来源:AGI Hunt · 微信公众号 · mp.weixin.qq.com