跳到正文
Z Potentials · 微信公众号·· 6 小时前AI 评分36

厘清智能李一鸣团队提出 PrismWAM 与 RoboDoctor,探索 Physical AI 的 Scaling Physics 路径

深度|从Scaling Semantics到Scaling Physics,厘清智能押注原生Physical AI Infra

AI 导读

厘清智能创始人、清华大学李一鸣团队与英伟达研究者提出世界动作模型 PrismWAM,将语义与物理解耦、让动作建立在几何等物理状态变化之上,在 RoboTwin 2.0 C2R 上取得 83.67% 平均成功率并位列官方榜单第一。

正文

原创 Z Potentials 2026-10-23 10:00 北京

Scaling仍在继续,但方向可以改变

图片

飞书文档 - 图片

近日,厘清智能创始人、清华大学人工智能学院李一鸣教授团队连续提出两项 Physical AI 工作,分别从模型层面与系统层面,探索真实世界的交互如何更高效地转化为可执行、可迁移、可持续改进的物理能力。

在模型层面,团队与英伟达研究者共同提出 PrismWAM[1],重新思考世界动作模型应该如何表征物理状态。PrismWAM 将语义与物理解耦,让动作更直接地建立在几何等物理状态变化之上。在不进行额外机器人动作数据预训练、也不对下游策略训练数据进行额外增强的条件下,PrismWAM 在 RoboTwin 2.0 C2R 上取得 83.67% 的平均成功率,位列官方榜单第一。

在系统层面,团队进一步提出 RoboDoctor [2],探索如何将底层动作策略与诊断、纠错和经验管理结合起来。系统不仅生成下一步动作,也会根据真实执行结果判断任务是否正常推进,在出现偏差时进行干预,并将已经发生的交互转化为后续决策可以利用的经验。RoboDoctor 在 RoboDojo 全部 54 项任务的测试中取得 57.1 分,高于发稿时可查的公开可比结果。

两项工作共同指向一个更大的判断:Physical AI 的 Scaling 仍在继续,但 Scaling 的方向与对象正在发生变化。之所以需要在此时重新讨论这一问题,是因为通用基础模型的能力边界正在迅速向外扩展。

随着以 GPT-6 Astra 为代表的新一代基础模型不断突破,越来越多过去需要专门设计的语义理解、指令理解与任务规划能力,正在逐步成为基础模型可以提供的通用能力。Astra 已经能够操作计算机、调用工具、完成多步骤工作流,并在陌生环境中根据反馈继续推进任务。

这些能力的形成,也揭示出一个值得关注的变化:基础模型的训练正在从静态互联网数据,进一步进入可交互、可反馈、可验证的任务环境。通过将真实工作流转化为合成训练任务,并让模型在强化学习中反复练习,模型开始学习的不只是“世界中有什么”,也包括“采取行动以后会发生什么”。

这一变化正在重塑 Physical AI 的技术版图,也让整个行业面临一次新的分工与洗牌:当基础模型持续吸收通用知识、语义理解和任务推理能力,Physical AI 的技术栈应该如何重新划分?哪些能力可以由基座模型提供,哪些需要在具体任务中完成,哪些仍然必须依赖专门的物理模型、执行系统与数据基础设施?

对于 Physical AI 而言,理解世界是什么和如何变化,与在真实场景下将动作准确执行,是两个相互关联、却不能简单等同的问题。前者可以持续受益于大规模文字、图片和视频数据;后者则要求模型进一步理解物体的几何结构、空间关系、接触状态,以及一次动作将给世界带来什么结果。

过去,行业主要通过增加模型参数、扩大训练数据和叠加工程模块获得能力提升。但当通用模型的能力越来越强,单一技术环节的优化正在触及新的边界。真正的竞争,将越来越取决于能否打通数据生产、物理建模、任务执行与反馈改进的完整链路,让真实任务中的交互与反馈,更高效地转化为可执行、可迁移、可持续改进的物理能力。

这也意味着,Physical AI 的下一阶段,不仅需要更强的模型,更需要一套从物理世界出发、为实现Scaling Physics 而原生设计的基础设施。

厘清智能希望建设的,正是这样一套 Physical AI Infra。

01 AI Infra已经支撑了Scaling Semantics,Physical AI需要新的基础设施

过去一轮人工智能的发展,主要建立在一个已经存在的数字世界之上。互联网积累了海量文字、图片、视频与代码,AI Infra 解决的核心问题,是如何将这些数据更快地加载到更大的计算集群中,训练更大的模型。

从数据存储、通信和并行计算,到训练框架与算力调度,整套基础设施都围绕同一个目标展开:提升语义知识进入模型的效率。

在这一体系中,训练对象相对明确。文字可以被切分为 Token,图片和视频可以被编码为统一表征,数据可以在模型训练之前被收集、清洗并反复使用。模型规模扩大以后,同一套基础设施仍然能够继续发挥作用。

但物理世界不是互联网的简单延伸。

一段文字被模型读取以后,文字本身不会发生变化;一次动作发生以后,物体的位置、接触关系与环境状态却会随之改变。模型不仅要理解“这是什么”“需要做什么”,还要判断物体在哪里、怎样接触、如何运动,以及一个动作将给世界带来什么结果。

物理世界还会对动作作出反馈。相同的抓取目标,面对不同重量、材质、摩擦力和摆放方式,可能需要完全不同的执行过程;同一项能力进入不同本体,也会受到关节结构、运动范围、控制频率和末端形态的限制。

因此,Physical AI 中有意义的训练单元,不应只是一段视频或一条动作轨迹,而应是一组彼此对齐的关系:任务目标、环境状态、模型判断、执行动作、状态变化与最终结果。缺少其中任何一环,模型都可能只学会动作看起来如何发生,却没有真正理解动作为什么有效。

这些能力无法仅靠扩大互联网数据和模型参数自然获得。物理世界中也不存在一套可以直接拿来训练的、已经完成数字化的数据资源。什么场景值得进入、任务如何拆解、哪些物理信号必须被记录、动作结果如何验证,都需要重新定义。

如果直接把为语义模型设计的 AI Infra 搬进物理世界,就像在燃油车平台上加装一块电池:系统或许可以运行,但底层架构并不是围绕新的目标设计。

Physical AI需要的是一套从物理世界出发、围绕任务、交互与反馈重新构建的基础设施。

厘清智能将这一方向称为 Scaling Physics:规模化的不只是模型参数与数据数量,更是模型理解空间、几何、运动、接触、力与动作后果的能力。

Scaling Semantics 解决的是模型知道多少、理解多少;Scaling Physics 进一步关心,模型能否判断一次行动将带来什么变化,并把这种判断转化为真实世界中的可靠执行。二者并不对立,但需要不同的基础设施支撑。

02 厘清智能只做一件事:让真实任务更高效地转化为物理能力

厘清智能是一家 Physical AI Infra 平台公司。

但 Infra 并不意味着把数据、模型、传感器、运行系统和部署工具逐项堆在一起,更不意味着一家公司需要同时讲述许多彼此分散的业务。

这些能力只服务于一个目标:让真实任务中的交互与反馈,更高效地转化为机器可执行的物理能力。

一项真实任务首先需要被转化为可以计算的数据;这些数据需要进一步转化为模型能够学习和复用的能力;模型能力还要进入真实环境,在执行、验证与纠错中成为稳定完成任务的系统能力。

由此,Physical AI Infra 需要连续解决三个问题:

第一,如何将真实任务中的状态、动作与结果,高效转化为可以训练和验证的数据;

第二,如何让有限的物理数据,更高效地转化为模型能力;

第三,如何让模型能力稳定进入真实任务,并把执行反馈转化为下一轮改进。

这三个问题,分别对应数据处理效率、能力转化效率与任务执行效率。

数据处理效率,决定一小时原始采集需要经过多少计算与人工,才能成为可以训练的数据。多设备时间同步、相机与传感器标定、三维重建、动作切分、质量检查和任务标签,都会直接影响数据是否可用。采集规模扩大以后,如果这些步骤无法自动化,再多原始数据也难以真正进入训练。

能力转化效率,决定同样规模的数据能够形成多强的模型能力。模型使用什么状态表征、关注哪些物理变量、不同模态之间如何传递信息,都会影响训练资源最终能够转化为多少操作能力。

任务执行效率,则决定模型能力能否以合理的延迟、成本和稳定性进入现场。长程任务中的偏差能否被发现,失败以后是否必须完全重来,一次执行产生的信息能否用于下一次改进,都决定了模型能力距离真实交付还有多远。

如果缺少模型层面的理解,数据生产就只能按照既有标准盲目扩大规模;如果无法进入真实任务,模型也难以知道自己缺失了哪些物理信息。模型、数据与执行因此不能成为彼此割裂的环节。

Physical AI 最终需要优化的,不是某一颗相机的分辨率、某一个数据集的时长或某一项基准得分,而是从一项真实任务到一种稳定能力的完整转化过程。

这也是厘清智能建设全链路能力的原因:不是为了证明“什么都能做”,而是因为任何一个关键环节缺失,转化效率都会在系统中被重新损失。

在厘清智能看来,Data–Model Co-evolution 不是一项独立业务,而是这套 Physical AI Infra 的基本运行方式:模型不断提出新的数据需求,数据与执行反馈再推动模型继续演进。

03 下一代数据Infra,不是从采集开始,而是从模型问题开始

对于 Physical AI,采集数据之前,首先要回答三个问题:模型最终进入什么场景、需要完成什么任务,又缺少什么物理能力。

不同任务,对数据模态的要求并不相同。精细抓取需要准确的三维几何、空间关系与接触状态;柔性物体操作可能进一步需要触觉、力觉和形变信息;长程任务则需要保留动作、结果与任务上下文之间的连续关系。

因此,真正决定下一代数据 Infra 的,不是现有设备能够采到什么,而是模型为了理解和作用于物理世界,究竟需要看到什么。

真实任务还需要被拆解为可以学习和复用的原子动作。识别、接近、接触、抓取、移动、放置、调整和验证,会反复出现在工业、农业、生活服务和生物制药等不同场景中。不同任务对几何、力度、精度和时序的要求,又会进一步决定需要记录哪些模态、采用何种视角,以及如何判断动作是否产生了预期结果。

围绕这一判断,厘清智能正在建设由模型需求驱动的物理数据基础设施。自研设备覆盖第一视角与第三视角,同步记录 RGB、深度、空间运动与手部操作等信息,并根据模型与任务需要,进一步引入触觉、力觉等物理模态。目前,厘清智能已构建数十万小时的 RGB-D 数据;深度数据管线经由配套算法持续改良,精度达到毫米级,并正加速向亚毫米级迈进。数据覆盖工业、实验室、农业、餐饮消费、公共服务、生物制药等多种高价值场景。 不同视角和模态共享同一条时间轴,让模型能够把“看到了什么”“采取了什么动作”和“世界发生了什么变化”连接起来。

这些设备不是最终产品,而是模型连接物理世界的感知接口。当模型发现新的关键变量,传感器与数据管线随之升级;当真实执行暴露新的失败模式,新的任务、状态与物理信号再进入下一轮训练。

这就是数据与模型联合进化的具体含义:由模型定义下一代物理数据,再让持续进化的数据,提高物理能力的转化效率。

04 PrismWAM:Scaling Physics在模型层的Proof of Concept

由厘清智能创始人李一鸣团队与英伟达研究者共同提出的 PrismWAM ,完成了厘清智能 Scaling Physics 路线在模型层面的第一步概念验证。

它从一个基础问题出发:对于需要作用于物理世界的模型而言,什么才是适合驱动动作的世界状态?

当前一类世界动作模型建立在视频预训练之上。视频 latent 可以同时编码物体类别、颜色、纹理、光照、空间关系与运动状态,但这些信息并不以同样的方式影响动作。

移动一只杯子时,真正决定手如何接近、何时接触和怎样移动的,是杯子的几何、位置、朝向与接触状态,而不是它的颜色或背景纹理。

PrismWAM 因此不再要求同一个 latent 同时承担所有职责,而是对语义上下文与物理状态进行建模分工:RGB 侧重提供任务与场景语义,Depth 侧重推演空间状态如何随动作演化,Action 则从物理推演中生成。

信息沿着 RGB → Depth → Action 单向流动。语义能够通过 Depth 影响动作,但 Action 无法绕过物理状态,直接依赖 RGB 中的外观相似性;推理阶段也不需要生成未来 RGB。

这种设计的关键,不是简单增加一种深度模态,而是把物理状态放到动作生成的中心位置。

Depth 也不只是一张记录距离的图像。它与相机坐标和时间信息结合后,可以进一步形成三维空间中的几何结构与占用关系,帮助模型判断哪里被物体占据、哪里可以运动、物体之间距离多远,以及环境状态如何随动作发生变化。

这些信息能够为路径可行性、接触判断、碰撞检测和精细操作提供更加直接的依据。相比颜色、纹理与光照,空间、几何和占用关系也更有可能在不同环境之间保持稳定。

具体来看,RGB 分支提供任务目标与语义上下文,例如模型需要操作哪一个对象、任务完成以后场景应呈现怎样的状态;Depth 分支则预测连续的空间状态变化,为动作提供逐步演化的物理依据。

PrismWAM 由此验证了一种不同于单纯扩大视频预训练规模的路径:模型不必将世界的全部外观压缩进同一个状态,而可以让不同表征承担不同职责,并让动作更直接地依赖物理变化。

在使用预训练视频模型初始化,并对深度 VAE 进行约 2,300 小时深度数据预训练的基础上,PrismWAM 没有使用额外的机器人动作数据进行预训练,也没有对下游策略训练数据进行额外增强。在这一条件下,模型在 RoboTwin 2.0 C2R 上取得 83.67% 的平均成功率,位列官方榜单第一;在 RoboDojo 全量测试中取得 36.23 分,在同期公开可查结果的同口径对比中位列无 Agent 方法第二。

在跨环境评测中,PrismWAM 的优势尤其集中在精细操作与场景变化较大的任务上。相关消融实验也显示,当深度所承载的物理状态路径被移除后,模型的跨域迁移能力明显下降。

这些结果并不意味着动作数据不再重要,也不意味着 Scaling 已经完成。它们验证的是另一种可能性:当模型更直接地表征空间、几何与状态演化,同样规模的训练资源,有机会更高效地转化为操作能力。

因此,PrismWAM 的意义不在于发布了一个已经完成规模化训练的物理基础模型,而在于完成了一次明确的 Proof of Concept:Scaling 的对象可以改变。除了扩大模型参数与数据规模,物理状态表征本身也可以成为能力增长的重要来源。

深度同样不是物理表征的终点。未来,Occupancy、Flow 等表征,以及触觉、力觉等物理模态,都会进一步进入模型,让它理解更完整的空间状态、接触过程与动作后果。

模型在这些方向上的进展,也将继续推动传感器、数据结构与物理数据基础设施升级。

05 RoboDoctor:让Scaling Physics从模型层走向系统层

PrismWAM 解决的是模型如何根据物理状态生成动作。但当机器人从单次动作走向长程任务,仅仅生成下一步动作还不够。

前一步的执行结果会不断改变后一步的条件:一次抓取偏移可能影响随后的放置,一次接触失误也可能让原本合理的计划失去作用。系统需要知道任务是否仍在向目标推进,并在结果偏离预期时及时调整。

围绕这一问题,李一鸣团队进一步提出 RoboDoctor ,将 PrismWAM 的连续动作能力与 Agentic 的诊断、规划和经验管理结合起来。底层策略负责生成动作,Agent 则根据任务进度与执行结果,判断何时需要干预、如何纠正,并将已经发生的交互组织为后续决策可以利用的经验。

在加州大学伯克利分校、香港大学、清华大学、北京大学、麻省理工学院等全球近20所顶尖学术机构于 2026年8月联合推出的机器人操作评测基准RoboDojo上,RoboDoctor v1.0 在覆盖全部 54 项任务的仿真实验汇总中取得了 57.10 分,在当前方法对比中居于首位。相比官方榜单中总分排名前两位的 HexaShell-Preview(53.18 分)与 WorldScape-R²SI(46.58 分),分别领先 3.92 分和 10.52 分;相比 GPT-6-Astra 和 DeepSeek-Flash,分别领先 28.13 分和 54.11 分;并且在泛化(Generalization)、精细操作(Precision)、长程任务(Long-Horizon)、记忆(Memory)与开放任务(Open)五个维度上都名列前茅。

RoboDoctor 并不要求 Agent 接管所有底层控制。系统会先通过少量 Warmup 回合判断底层策略对当前任务的适应程度:当策略本身能够推进任务时,由策略负责连续动作,Agent 只在必要时检查和干预;当策略难以有效推进时,Agent 再将任务拆分为子步骤,并直接调用动作工具。

在执行前,Agent 可以结合场景观测与运动学预览检查动作提案;执行以后,系统再通过新的观测判断预期结果是否真正发生。如果抓取没有稳定完成,系统不会继续机械地执行后续步骤,而是根据已经变化的状态重新生成动作。

被保留下来的也不只是“成功”或“失败”两个标签。何时需要干预、怎样调整末端位置、哪一种判断在什么条件下有效,都可以成为下一次任务能够读取的经验。

这一过程中,模型权重可以保持不变,能力提升发生在控制策略、执行反馈与外部记忆的协同中。机器人不再只是重复调用一个固定策略,而是让每一次执行都成为下一次判断的依据。

如果说 PrismWAM 提升的是数据向模型能力的转化效率,那么 RoboDoctor 进一步探索的,就是模型能力向稳定任务执行的转化效率。

这也解释了为什么 Physical AI Infra 不能在模型训练完成以后结束。模型输出动作,并不等于系统完成任务。只有执行结果能够被观察、验证和重新利用,模型能力才真正进入了一条可以持续改进的闭环。

Scaling Physics 也由此从模型层延伸到系统层:不仅让模型理解动作将如何改变世界,也让系统能够从真实结果中诊断问题、修正行动并积累经验。

06 Infra最终交付的,不是数据集,而是进入真实世界的能力

PrismWAM、物理数据管线与 RoboDoctor 并不是三项平行业务。它们分别解决同一条能力转化链路上的不同问题:世界如何被记录,模型如何学习物理变化,能力又如何在真实任务中稳定执行并持续改进。

这也是厘清智能建设 Physical AI Infra 的原因。公司并不是为了覆盖更多技术环节而建设全栈能力,而是因为目前缺少一套可以完整支撑 Scaling Physics 的现成基础设施。

这套 Infra 最终输出的,不是一批数据、一个传感器或一套只能运行在特定机器人上的策略,而是能够进入真实任务的物理能力。

以柔性包装归档为例,真正需要被交付的不是“抓取”这个孤立动作,而是识别包装状态、判断是否粘连、完成分离与抓取、确认放置结果,并在失败时重新尝试的一整项任务能力。

当这项能力需要迁移到不同机械臂或灵巧手时,设备结构、动作空间与控制接口都会发生变化,但包装的形变、接触与分离规律并不会从零开始。Infra 需要沉淀的,正是这些可以跨设备复用的部分,并把本体差异限制在可适配的范围内。

在工业、农业、生活服务和生物制药等场景中,任务并不天然属于某一种机器人形态。同一种能力可能需要进入机械臂、灵巧手、移动设备或其他物理载体,也可能需要与负责分析、诊断和任务调度的数字 Agent 协同完成。

在工业检测中,物理设备负责移动与扫描,数字 Agent 可以分析结果、发现异常并决定是否复检;在医疗耗材管理中,灵巧手与双臂设备负责分拣、扫描和归档,系统则负责识别物料、管理任务进度并核验结果。

Physical AI 的最终形态,不一定是一台机器人,也可能是一套由模型、Agent 与不同物理设备共同完成任务的系统。

厘清智能希望让一项已经形成的能力,不必在每一种本体、每一个场景和每一个行业中从头开始。模型、数据管线与执行反馈所沉淀的共性部分,可以被持续复用;本体和任务之间的差异,则通过统一的适配与验证体系被重新定义。

新的设备进入平台,会扩大已有能力可以运行的本体范围;新的任务进入平台,会带来新的物理状态、失败案例与评测标准;这些积累再反过来降低下一台设备的接入成本和下一项任务的开发成本。

这才是平台与项目制交付的区别。如果每进入一个场景都必须重新采集、重新训练、重新开发,系统仍然只是多个项目的集合;只有当一项任务形成的模型能力、物理表征、评测方法与执行经验可以进入下一项任务,Infra 才真正开始形成。

当这种转化效率持续提高,智能才能跨越不同本体、场景与行业,在真实世界中流动。

07 结语:为Scaling Physics建设一套原生的Physical AI Infra

过去的 AI Infra,为 Scaling Semantics 建立了成熟的计算与训练基础;Physical AI 的下一阶段,需要为 Scaling Physics 补上仍然缺失的一层。

这层基础设施必须从物理世界出发:由真实任务定义能力,由模型定义数据与传感器,由数据支撑模型学习,再由执行反馈推动系统持续改进。

这不是一条从数据出发、最终走向模型的单向生产线,而是一套不断往返于真实世界与模型之间的能力系统。每一次训练都应更接近实际任务,每一次执行也应为下一轮训练留下新的依据。

PrismWAM 与 RoboDoctor 仍是这条路线上的早期探索。前者完成了物理状态表征在模型层面的 Proof of Concept,后者进一步尝试让执行结果转化为诊断、纠错与经验。两项工作共同指向一个更长期的目标:让物理能力能够积累、复用,并跨越不同本体与场景。

厘清智能是一家 Physical AI Infra 平台公司。它所押注的,不是某一种机器人形态,也不是单纯扩大数据规模,而是为 Scaling Physics 建设一套原生基础设施,让真实任务更高效地转化为物理能力,让能力在持续反馈中不断进化。

让智能自由流动。

References

[1] PrismWAM: Decoupling State Representations in World Action Models. 

https://prism-wam.github.io/

[2] RoboDoctor: Training-Free Recursive Self-Improvement for Robot Policies. 

https://robodoctor-rsi.github.io/

图片

图片

图片

跳转微信打开

来源:Z Potentials · 微信公众号 · mp.weixin.qq.com