Wes Bos 开源 3D Model Anything，用 iPhone LiDAR 把房间重建成可编辑 Three.js 场景

原创前端设计大神 2026-10-25 10:00 北京

开源的房间扫描软件

先看三个重点

1. 告别死板网格与点云：扫描不再是终点，而是作为“证据”，由 AI 重新建模成干净的几何体。

2. 完全可编辑的 3D 场景：生成标准 Three.js 结构，支持任意替换材质、调尺寸甚至挂载物理引擎。

3. 全链路开源：iPhone LiDAR 数据捕获 App 源码 + Agent 专属重建 Skill 已全部公开。

最终交付的不是一坨难以编辑的高斯点云，而是干净整洁、能在浏览器里肆意交互的多边形模型。

作者 Wes Bos 最近开源了一个极具启发性的项目：3D Model Anything。他用一台带 LiDAR 的 iPhone 扫了自己的办公室，然后直接让 AI 帮忙重建成一套完整的 Three.js 3D 场景。桌椅、书架、3D 打印机，全都在浏览器里能漫游、能交互，甚至能施加重力到处扔。

Watch the video: 3D Model Anything

01 / 运行机制

它到底做了什么？核心两步法

这个项目并非走传统的“扫描后直接渲染”逻辑，而是巧妙地把流程拆解为证据采集与 AI 逆向工程：

Step 1 iPhone 采集多模态数据：借助支持 LiDAR 的 Pro 系列机型，通过配套 App 同时提取 RoomPlan 结构数据（门、窗、墙体包围盒）、PLY 三角网格、带精确相机位姿的高清照片以及深度图。

Step 2 AI Agent 驱动场景重建：项目自带 scan-to-threejs 专用 skill。AI 对照网格点与实拍照片，像熟练建模师一样逐一推导物体的几何参数，直接生成规范的 Three.js 场景代码。

扫描只是「证据收集」，AI 负责根据证据进行真正的「工程建模」。

02 / 技术对比

市面上很多 LiDAR 扫描工具（例如 Polycam）虽然好用，但导出的模型本质上是整块密集的网格或高斯点云。这类模型最大的硬伤就是极难二次编辑，既无法剥离单个桌椅，也无法做精准的交互响应。

而 3D Model Anything 采用“AI 识图辅助建模”路径：AI 会反复比对生成的几何体与实拍原片，校准尺寸与相对位置。最终输出的是由独立立方体、平面、标准材质构成的结构化对象。你可以随时给桌子改尺寸、替换墙纸，或者绑定 Cannon.js 这样的物理引擎。

03 / 实践路径

由于该项目刚开源不久，目前暂未在 App Store 或 TestFlight 上架，需要通过本地开发环境进行签名部署：

01 克隆 GitHub 官方代码仓库至本地。

02 进入 apps/house-capture 目录，执行 xcodegen 生成 iOS 工程文件。

03 使用 Xcode 打开项目，配置个人 Apple ID 签名后直接构建并安装到 iPhone Pro 系列机型。

04 在手机上完成空间扫描并导出数据包，输入给支持 Skill 的 AI Agent 执行 scan-to-threejs 即可。

04 / 客观评估

谁适合关注：

• 探索快速将真实空间映射为 Web 3D / Three.js 场景的前端与创意工程师。

• 数字孪生、室内家装预览或轻量空间计算领域的开发者。

• 对“端侧感知 + 大模型多模态推导”这一融合路线感兴趣的技术探索者。

现存的边界限制：

• 部署门槛目前偏高，依赖个人 Xcode 手动编译。

• 算法更适配规则室内布局，户外大场景及非规则曲面仍难以准确还原。

• 建模并非全自动“一秒出图”，仍需人机协作修正部分尺寸与结构误差。

思考与讨论

以往我们总执着于用算法直接输出高保真的像素或点云，却常常忽略了后续应用中最核心的“可维护性”。

你如何看待“传感器只收集线索，让 AI 接管结构化建模”这种全新路径？欢迎在留言区聊聊你的看法。

开源项目资料

该项目所有源码与 Agent Skill 已在 GitHub 完全开放，包含详细的架构说明与演示：

项目作者：Wes Bos（知名前端开发者、播客 Syntax.fm 主播）

Web 3D · Three.js · 空间计算 · AI 辅助建模