Meta 开源 GenIA：输入单张照片或视频，直接重构完整 3D 物体

GenIA 是 Meta 开源的一个 3D 重构框架，能把一张普通照片、稀疏视角多图或者动态视频片段，直接转成完整的 3D 物体资产。

生成式 3D 模型虽然能脑补出未观察到的背面几何，但生成结果往往对不上原图的外观、姿态和尺寸。GenIA 解决的正是这个还原度问题。

它是怎么做到的

GenIA 的核心思路是「测试阶段输入对齐」，也就是在推理阶段校准，完全不需要重新训练底座大模型。

它直接借用了 SAM 3D 的生成先验。在去噪过程中，它引入了可见性偏置注意力、跨视角融合和可微渲染引导，让模型生成外观时紧贴原始输入。

对于空间位姿，系统从输入几何中直接推算平移和缩放比例，同时保留原本学习到的旋转先验，解决了 3D 生成常见的漂移和比例失真问题。

在生成完成后，它还包含一个可选的微调步骤，通过轻量级解码器适配器和外观潜变量微调，持续比对生成模型与原图差异，进一步修正物体的摆放与细节。

如果输入动态物体的时序几何，系统还能解构出统一且与输入对齐的标准外观，以及稳定的世界坐标摆放。

效果与开源情况

根据论文在合成数据与真实场景基准上的测试，GenIA 在姿态预测与物体几何重构上全面超过了现有的优化型方法、单帧图生 3D 以及视频生成 4D 的 baseline。

代码目前已经公开，项目主页上提供了完整的依赖安装和本地部署运行指南。

需要注意的是，Meta 为这套系统采用的是 Creative Commons 非商业许可证（CC non-commercial），目前只能用于研究和个人实验，不能直接塞进商业管线。

为什么重要

我们认为 GenIA 最聪明的地方在于不动底座模型，只靠推理阶段的引导和几何对齐来解决「形似神不似」的老毛病。这种轻量化插件式的思路，对算力吃紧的开发者非常友好。

搞 3D 内容创作、数字孪生或者具身智能研究的朋友现在就可以克隆代码跑跑看。虽然非商用限制了它进入商业游戏资产生产，但作为个人工作流里的单图建模辅助工具，已经相当实用。