跳到正文
AGI Hunt · 微信公众号·· 1 天前AI 评分49

章鱼动力 SYNWorld V0.5 具身世界模型发布:全栈 Scaling Engine 驱动,多项评测领先 π0.5 与 Cosmos3 Nano

全栈 Scaling Engine 驱动,章鱼动力具身原生世界模型 SYNWorld V0.5 多项评测领先 π0.5 与 Cosmos

AI 导读

章鱼动力发布具身原生世界模型 SYNWorld V0.5,依托自研全栈 Scaling Engine 训练,在真机四项任务、LIBERO-Plus 仿真和视频生成双盲评测中均领先 π0.5 与 Cosmos3 Nano。

正文

原创 尹John 2026-10-21 22:02 北京

依托全栈 Scaling Engine 训练,领先 π0.5 和 Cosmos3 Nano,推理快 60 倍

8 月的世界机器人大会(WRC)上,成立才 7 个月的章鱼动力(SynapX)发布了具身世界模型 SYNWorld V0.5。

展台上方有块大屏,机械臂在下面拼积木,屏幕上则把它的当前状态和模型预测的未来画面并排显示。如果你细节观察,会看到一个细节:预测画面总是能比机械臂的实际动作先一步出现。

WRC 展台现场
WRC 展台现场

但那时能获取到的信息并不太多,能知道的基本就是 MoT 架构、30 万小时数据,再加上 ACWM、WAM 两个缩写。

终于在上周五,章鱼动力在官方网站与微信公众号同步发布了一篇关于 SYNWorld V0.5 的技术博客,第一次完整公开了背后的 Scaling Engine、训练数据、模型架构和评测结果。

微信公众号:SYNWorld V0.5:从 Scaling Engine 到具身原生基础模型

官网:https://www.synapxdynamics.ai/blog/2

SYNWorld V0.5 技术博客

真机和仿真评测中,SYNWorld V0.5 都领先 π0.5 与英伟达 Cosmos3 Nano,视频生成的双盲评测也胜过了 Cosmos3 Nano。

章鱼动力今年 1 月成立,创始人都大龙是地平线的第 6 号员工。

公司的技术路线叫「脑-手-数据」:SYNWorld 世界模型是脑,OctoH-Hand 灵巧手是手,OctoSense 是数采方案,三者协同迭代。

全栈 Scaling Engine

01

SYNWorld 的背后,是一套把数据、训练和部署评测放在一起协同设计的基础设施,章鱼动力叫它 Scaling Engine。

V0.5 正是依托这套系统训练出的第一个版本。

它的出发点是 Sutton 那篇 The Bitter Lesson(苦涩的教训):能随算力扩展的通用方法,长期来看总会赢。

而章鱼动力在这之上又加了一个判断,Scaling 是「各向异性」的。

Scaling 的四个方向

模型容量、数据规模、模态覆盖、任务与场景,这四个方向都能扩展。但同样的投入换来的提升并不一样,所以要靠实验找出当前阶段「斜率最大」的那个方向。

数据系统是一套自研的、基于 Ray 的分布式流水线,解码、筛选、标注、编码各自独立配置资源和并发。

计算、网络、存储也都做了协同优化,数据处理和训练共享同一个资源池,按需弹性扩缩。

甚至连运维都交给了 Agent,由它诊断瓶颈、编排实验。

数据流水线

训练系统则是一个组件化的统一框架,支持多任务联合采样、变长序列打包、自定义 Attention Mask 与上下文并行。

并行策略上,TP、PP、EP、CP、HSDP 按需组合,checkpoint 也是异步保存的。

自定义 Attention Mask × CP × Varlen

这一整套系统级优化下来,训练效率提升了 10 倍。

30 万小时训练数据

02

SYNWorld 的训练数据总量超过 30 万小时,目前每天还在新增 1 万小时以上,覆盖 1000 多个场景、10 多种机器人本体。

数据层

规模

主要提供

通用图像/视频

>10 万小时

世界知识、视觉结构、时间动态

Ego 第一视角

≈10 万小时

人类行为、交互过程、长时任务

UMI 数据

>5 万小时

状态、动作与结果的对应

真机任务实采

≈3 万小时

精细操作、困难样例、能力边界

数据采样配方

其中,真机采集的数据约 3 万小时,只占一成左右,更多的是通用视频、人类第一视角(Ego)和 UMI 数据。

人类数据之所以能用起来,靠的是一套统一的 59 维动作表示。

除了相机和身体的运动、左右腕的位姿与夹爪开口,左右手各五个指尖的位置也被写进了动作空间。

人手数据和机器人数据,便能在同一套接口里一起训练。

至于人手数据的采集,章鱼动力用的是自研的肌电全模态数采方案。

戴一个腕部手环,就能靠肌电信号重建手部姿态,还能估计触觉信息,采集门槛也随之降低。

从视频生成出发

03

现在机器人大模型的主流做法是 VLA,比如 Physical Intelligence 的 π0.5,在视觉语言模型的基础上增加动作输出。

SYNWorld 走的则是具身原生世界模型路线,先学视频生成,再学动作,让模型理解物体如何运动、动作如何改变环境,再据此生成动作。

MoT 模型架构

模型采用 Mixture-of-Transformers(MoT)架构,语言、视觉、动作三种模态各自保留参数,通过跨模态注意力交换信息。

预训练分两步,先用通用图像和视频学习视觉生成(GV),再加入 Ego、UMI 和机器人数据,联合学习视觉与动作(GVA)。

从同一个 GVA 底座出发,又后训练出了两个模型:

WAM 与 ACWM

WAM(世界动作模型)负责执行任务,根据观测和指令,同时生成未来的动作和画面。

ACWM(动作条件世界模型)负责预演,给定一组动作,预测环境接下来会怎样变化。

博客里的 ACWM 演示中,操作员戴着手套做动作,模型实时生成机械手跟随动作的画面:

ACWM 演示:双臂与物体交互
ACWM 演示:双臂与物体交互
ACWM 演示:真机动作响应
ACWM 演示:真机动作响应

推理快 60 倍

04

世界模型每做一次决策,都要连带生成一段画面,推理速度直接决定了它能不能用在真机上。

环节

优化手段

优化前

优化后

单步推理

编译、FP8、CP4

263 ms

64.63 ms(4.07×)

完整去噪

两步 DMD2 蒸馏

7934.61 ms(30 步)

131.28 ms(2 步,60.44×)

视频解码

编译、宽度切分、CUDA Graph、Winograd

1418.14 ms

149.64 ms(9.48×)

原本 30 步去噪要将近 8 秒,机器人每「想」一下,就得在那儿干等 8 秒……

现在缩短到了 131 毫秒,快了 60 倍。

视频解码也从 1.4 秒缩短到 150 毫秒,而且放在另一组 GPU 上异步执行,动作输出不用等画面解码完。

领先 π0.5 与 Cosmos3 Nano

05

评测分为真机任务、LIBERO-Plus 仿真,和视频生成的双盲人工偏好三类。

真机评测选取了摆放餐具、倒豆子、摞盘子、叠衣服四项任务,分别用 50、100、200、400 条示教做后训练,对比用不同预训练模型初始化的效果。

真机四项任务对比

和 π0.5 相比,SYNWorld V0.5 在全部 16 组对比中都领先。

示教越少,优势越明显,比如倒豆子只有 50 条示教时,是 51.47 比 30.14。

在 400 条这一档,四项任务的得分也都高于 Cosmos3 Nano。

下面是 WAM 只用 50 条示教做后训练的真机表现(四个视角同步播放):

WAM 演示:摆放餐具
WAM 演示:摆放餐具
WAM 演示:倒豆子
WAM 演示:倒豆子
WAM 演示:摞盘子
WAM 演示:摞盘子
WAM 演示:叠衣服
WAM 演示:叠衣服

在带七类扰动、共 10030 个案例的 LIBERO-Plus 仿真评测中,SYNWorld V0.5 的总体成功率为 87.78%,高于 Cosmos3 Nano 的 85.66% 和 π0.5 的 85.41%。

LIBERO-Plus 总体成功率

视频生成的双盲评测以 Cosmos3 Nano 为基线,一共 60 组对比。

语义遵循、视觉质量、物理规律三项的净偏好率,分别为 46.7%、26.7% 和 51.7%。

双盲偏好票数

手脑一体

06

模型之外,章鱼动力同时在做灵巧手和数采硬件。

手脑一体设计路径

8 月一起发布的 OctoH-Hand,是一只高自由度的仿生绳驱灵巧手。

它有 23 个主动自由度、28 个独立可控的执行器,手上还集成了 1900 多个触觉传感单元。

章鱼动力的判断是,大量工具和工作空间本来就是照着人手设计的,很多任务离不开手内调整、多点接触和多指协同。

所以他们选择了灵巧手作为核心执行形态,让数据、模型和硬件一起迭代。

手脑一体,数据闭环

SYNWorld 负责理解和预测,OctoH-Hand 负责精细执行,OctoSense 负责采集人类操作数据,三者构成了一个数据闭环。

博客中还给出了后续方向:

•  围绕自研灵巧手做手脑协同,比如把 Ego 数据里的人手动作重定向到自家硬件上 

•  扩展肌电全模态数采,引入力觉、触觉等模态,学习更完整的物理交互 

•  继续扩大模型、数据和训练规模,用学会任务所需的示教量来衡量收益 

•  用 agent harness 让 Agent 串起实验设计、数据处理、训练和结果分析,让研发循环更能自主迭代 

V0.5 已经把 Scaling Engine 这套大模型基建打造完善,并秀出了第一份亮眼的评测成绩单。

接下来,等手脑一体和力觉、触觉等模态陆续加入后,将是一整套模型、数据、硬件协同的全栈化体系。

其想象空间,非常值得期待。

◇ ◆ ◇

跳转微信打开

来源:AGI Hunt · 微信公众号 · mp.weixin.qq.com