跳到正文
AYi· @AYi_AInotes · X·· 4 小时前AI 评分60
AI 导读

CMU 教授 Keenan Crane 让大模型写 27KB GLSL 代码,用闭式隐式曲面的数学公式直接定义完整 3D 龙,空间任一点代入公式即可判定内外,不依赖网格、NeRF 或 3DGS。因为形状由计算得出,镜头任意拉近都清晰,改一个参数即可改变整体形状。作者认为 AI 做 3D 的上限取决于给它的表示方法,但绑定、动画、物理和扫描重建的工业管线仍主要依赖网格。

正文

同样让 AI 做 3D,有人拿回几 MB 的网格,放大就糊,有人拿回 27KB 的公式,贴多近都清晰,其实差距不在用哪个模型,在你让它用什么语言描述形状。

最近感觉全网都在让大模型配合 Blender、Three.js 做 3D 模型,CMU 计算机系教授 Keenan Crane 反着来,他让模型写了一段 27KB 的 GLSL 代码,用一个数学公式,直接定义出一条完整的龙。

这条龙不是用三角形拼出来的网格,不是 NeRF,也不是 3DGS,更不是视频模型,

它是一段程序,空间里任何一个点代进公式,就知道自己在龙的里面还是外面,显卡沿着光线一步步算,龙的表面就浮现出来。

我们平时让 AI 做 3D,其实是在教它操作软件,怎么建网格,怎么拖控制点,换一个工具,就要重新教一遍,生成的文件动辄几 MB,放大一点全是锯齿,想改结构,往往比重新做还难。

他的做法是把形状本身变成代码,27KB,一个文本文件,鳞片、犄角、爪子全在公式里,因为形状是算出来的,镜头贴多近都不糊,改掉一个参数,整个形状跟着变。

这里有个容易看混的地方,他用的是闭式隐式曲面,公式可以直接求值,不用再训练一个神经网络去拟合形状,文件里没有权重,只有数学。

最狠的就在这里,他做的不是一次压缩,而是一次问题的改写,大模型最硬的能力本来就是写代码,他没让模型去够它不擅长的操作,他把 3D 这件事,翻译成模型最擅长的语言。

你给 AI 什么表示方法,它就只能在什么上限里发挥,三角形是存给旧管线的,公式是写给 AI 的。

当然咱们也别神化,绑定、动画、物理、扫描重建,今天的工业管线仍然主要吃网格,复杂的真实世界还没法都塞进一个公式,它打开的是一扇门,不是换掉整个工具箱。

感觉以后用 AI 做事,拉开差距的可能不是谁的提示词更长,而是谁先想一步,这个问题能不能换成它最擅长的形式,代码,公式,或者一段结构化的文字,你手上现在那件事,能不能也换一种写法。 https://x.com/keenanisalive/status/2108708523236602056/video/1

来源:AYi · x.com