李飞飞与 World Labs 团队提出,空间智能是 AI 的下一个前沿,世界模型是通往这一目标的关键路径。她基于 POMDP 智能体-环境循环,把世界模型分为渲染器、模拟器和规划器三类,认为模拟器最关键却最不被炒作,文中还提到 World Labs 的 Marble 项目能从多模态提示生成可探索的 3D 环境,同时输出高斯溅射和碰撞网格。
刚刚看到李飞飞最新的发的文章,虽然没有了语言墙,但是还是喜欢自己翻译看一下完整的内容。👇🏻
“世界不是由词语构成的”:Fei-Fei Li 论世界模型的三种形态与空间智能! (译)
> “The world is everything that is the case.”
--路德维希·维特根斯坦
一、世界不是由词语构成的。
语言模型在文本、概念和推理上表现出色,但物理世界运行在空间、时间、物理和几何之上。Fei-Fei Li(李飞飞)及其 World Labs 团队认为,空间智能(spatial intelligence) 是 AI 的下一个前沿,而世界模型(world models) 是通往这一目标的关键路径。
然而,“世界模型”这个词如今已被严重滥用。
计算机视觉、机器人、强化学习、生成式 AI 等不同社区对它的理解大相径庭。
李飞飞基于经典的 POMDP(部分可观测马尔可夫决策过程)/智能体-环境循环,给出了一个清晰的分类法。
世界模型的三种核心功能
1. Renderer(渲染器)
输出观察(observations),主要是像素,服务于人眼。
优化目标是视觉保真度和 plausibility(合理性)。
典型代表:文生视频模型、Google 的 Genie、World Labs 的 RTFM。
局限:画面可以非常完美,但在物理交互或细致检验下容易崩坏——“好看但不结实”。
2. Simulator(模拟器)
输出状态(state)——对世界进行几何和物理上准确的表征。
必须严格遵守物理、碰撞、动力学和材料特性。
既服务于人类(设计、建筑、影视),也服务于机器(训练 RL 智能体、机器人、自动驾驶)。
李飞飞认为这是最关键的一环。它是从渲染和规划中都可以派生出来的结构主干。
当前最大挑战:3D/物理数据极度稀缺、sim-to-real 差距、多物理场 scaling 困难。
3. Planner(规划器)
根据观察和目标输出动作(actions)。
它闭合了感知-行动循环,包括视觉-语言-动作模型以及新兴的“世界动作模型”。
目前大多仍局限于受限的实验室环境。
核心观点
模拟器是最重要、却最不被炒作的那一个。
渲染器已经商业成熟(视频生成赛道)。
规划器正获得大量关注和资金(机器人公司);
而模拟器连接两者,是实现可靠真实世界应用的关键。
最激动人心的进展在于边界的模糊:
同一套底层知识(几何 + 物理 + 动力学)应该同时支持渲染、模拟和规划。
World Labs 的 Marble 项目就是典型例子,它能从多模态提示生成可探索的 3D 环境,同时输出高斯溅射(用于视觉)和碰撞网格(用于物理)。
长期愿景是一个统一的世界模型,一个基础模型能够流畅地在照片级写实的渲染、精确物理模拟、动作规划三种模式之间切换。
结语
语言让机器学会了“谈论”世界。
而世界模型,才是机器真正理解、想象、推理并在其中行动的方式。
这是一篇信息密度极高的文章,既有技术哲学深度,也清晰地表明了 World Labs 的战略方向。
x.com/i/article/206224428394…在 X 查看被引用的帖子
来源:@berryxia · x.com