跳到正文
IFAI

开源项目

tttLRM 开源:不到 4GB 搞定 3D 重建,连电线和文字都能清晰还原

首次发布 传播指数 48

3D 重建模型 tttLRM 正式开源,利用测试时训练(TTT)技术将照片高效转为 3D 高斯泼溅模型。相比传统 3DGS,它消除了烟雾感与噪点,能精准还原电线和微小文字;模型体积不到 4GB,普通消费级显卡就能本地跑起来。

tttLRM 开源:不到 4GB 搞定 3D 重建,连电线和文字都能清晰还原
图:arxiv.org

玩过 3D 高斯泼溅的人大概都有体会:拍了一堆照片扔进去,渲染出来的模型总带着一层挥之不去的云雾感,边缘漂着各种碎屑噪点,细节一拉近就露馅。

研究团队开源了名为 tttLRM 的 3D 重建模型。这个全称为「测试时训练长上下文自回归 3D 重建」的工具,直接把模型体积压到了 4GB 以下,在普通消费级显卡上就能跑起来。

告别烟雾弹,连电线和海报文字都看得清

传统的 3DGS 在处理多角度照片时,经常会出现漂浮的烟雾状伪影和画面撕裂。

tttLRM 在这方面干净得多。在官方展示的寺庙和庭院场景中,它不仅还原了整体空间,连背景装饰、布料的纹理质感都能准确捕捉。

更让人惊喜的是细长物体和微小图案。户外场景里的高空电线、海报上原本极易糊掉的细小文字,它都能清晰地复原出来。

无论是扫描复杂的整体大场景,还是只围着单个物体拍几张照片,它都能快速输出高质量的 3D Gaussian Splat 结果。

把照片塞进 fast weights:测试时训练的巧劲

能做到又轻又清,核心在于它引入了测试时训练技术。

以往的大模型要处理很多张照片,计算量会随视角数量急剧膨胀。tttLRM 设计了一个 TTT 层,在输入照片的当下,把照片信息快速压缩进一部分叫做 fast weights 的内部参数里。

这样做的好处是计算复杂度呈线性增长,不会随着照片变多而直接爆显存。

它在隐空间里构建出隐式 3D 表示,再解码成我们常用的高斯点云。论文提到,它还支持从流式输入的连续照片中逐步更新模型。

项目代码目前已经在 GitHub 开源并附带本地部署说明,Hugging Face 上的权重不到 4GB,主流消费级显卡装下它毫无压力。

为什么重要

我们认为,tttLRM 最吸引人的地方在于把 3D 重建的硬件门槛和人工修模成本同时打了下来。

对于独立开发者或 3D 创作者来说,过去用 3DGS 扫描资产,要么依赖昂贵的算力,要么得花大量时间手动擦除那些烦人的浮动噪点。现在一台普通游戏本或单张消费级显卡,就能在本地生成干净的资产,非常值得有现场建模需求的人上手一试。

从技术路线来看,这给长上下文 3D 重建提供了一个极佳的解法。行业过去总在纠结是硬扛注意力机制的二次方开销,还是牺牲精度做轻量化。tttLRM 证明了用 TTT 线性压缩多视角信息切实可行,甚至把新视角合成的预训练能力无缝迁移到了显式 3D 建模上。

不过也要看到,尽管它在几何边缘和文字细节上表现优异,面对复杂反光表面或遮挡极严重的死角时,依然受限于输入照片的覆盖度。快速更新内部参数的做法很聪明,但遇到极端光照差异时泛化能力如何,还需要社区在实际场景中进一步验证。

来源 (1)

  1. [1]

每日 AI 内容精选