跳到正文
@berryxia· @berryxia · X·· 2026-06-04AI 评分51
AI 导读

李飞飞与 World Labs 团队提出,空间智能是 AI 的下一个前沿,世界模型是通往这一目标的关键路径。她基于 POMDP 智能体-环境循环,把世界模型分为渲染器、模拟器和规划器三类,认为模拟器最关键却最不被炒作,文中还提到 World Labs 的 Marble 项目能从多模态提示生成可探索的 3D 环境,同时输出高斯溅射和碰撞网格。

正文

刚刚看到李飞飞最新的发的文章,虽然没有了语言墙,但是还是喜欢自己翻译看一下完整的内容。👇🏻

“世界不是由词语构成的”:Fei-Fei Li 论世界模型的三种形态与空间智能! (译)

> “The world is everything that is the case.”

--路德维希·维特根斯坦

一、世界不是由词语构成的。

语言模型在文本、概念和推理上表现出色,但物理世界运行在空间、时间、物理和几何之上。Fei-Fei Li(李飞飞)及其 World Labs 团队认为,空间智能(spatial intelligence) 是 AI 的下一个前沿,而世界模型(world models) 是通往这一目标的关键路径。

然而,“世界模型”这个词如今已被严重滥用。

计算机视觉、机器人、强化学习、生成式 AI 等不同社区对它的理解大相径庭。

李飞飞基于经典的 POMDP(部分可观测马尔可夫决策过程)/智能体-环境循环,给出了一个清晰的分类法。

世界模型的三种核心功能

1. Renderer(渲染器)

输出观察(observations),主要是像素,服务于人眼。

优化目标是视觉保真度和 plausibility(合理性)。

典型代表:文生视频模型、Google 的 Genie、World Labs 的 RTFM。

局限:画面可以非常完美,但在物理交互或细致检验下容易崩坏——“好看但不结实”。

2. Simulator(模拟器)

输出状态(state)——对世界进行几何和物理上准确的表征。

必须严格遵守物理、碰撞、动力学和材料特性。

既服务于人类(设计、建筑、影视),也服务于机器(训练 RL 智能体、机器人、自动驾驶)。

李飞飞认为这是最关键的一环。它是从渲染和规划中都可以派生出来的结构主干。

当前最大挑战:3D/物理数据极度稀缺、sim-to-real 差距、多物理场 scaling 困难。

3. Planner(规划器)

根据观察和目标输出动作(actions)。

它闭合了感知-行动循环,包括视觉-语言-动作模型以及新兴的“世界动作模型”。

目前大多仍局限于受限的实验室环境。

核心观点

模拟器是最重要、却最不被炒作的那一个。

渲染器已经商业成熟(视频生成赛道)。

规划器正获得大量关注和资金(机器人公司);

而模拟器连接两者,是实现可靠真实世界应用的关键。

最激动人心的进展在于边界的模糊:

同一套底层知识(几何 + 物理 + 动力学)应该同时支持渲染、模拟和规划。

World Labs 的 Marble 项目就是典型例子,它能从多模态提示生成可探索的 3D 环境,同时输出高斯溅射(用于视觉)和碰撞网格(用于物理)。

长期愿景是一个统一的世界模型,一个基础模型能够流畅地在照片级写实的渲染、精确物理模拟、动作规划三种模式之间切换。

结语

语言让机器学会了“谈论”世界。

而世界模型,才是机器真正理解、想象、推理并在其中行动的方式。

这是一篇信息密度极高的文章,既有技术哲学深度,也清晰地表明了 World Labs 的战略方向。

引用Fei-Fei Li (@drfeifei)@drfeifei
x.com/i/article/206224428394…
在 X 查看被引用的帖子

来源:@berryxia · x.com