跳到正文
IFAI

AI科研

TriSplat 提出新 3D 重建架构:跳过高斯转网格,单次前向直出游戏级 3D 模型

首次发布 传播指数 36

研究团队提出前向 3D 重建网络 TriSplat,直接采用三角形基元表征场景,单次推理即可导出完整的 3D 网格。它省去了传统高斯泼溅复杂的后处理转换,最快 1.2 秒出模,生成的资产能直接接入 Unreal 等物理引擎与碰撞检测管线。

TriSplat 提出新 3D 重建架构:跳过高斯转网格,单次前向直出游戏级 3D 模型
图:arxiv.org

现在用 AI 从图片生成 3D 模型已经不算新鲜事,高斯泼溅(3DGS)渲染出的画面也足够惊艳。但只要你试过把这些资产塞进游戏引擎,就会发现问题所在:那些飘在空中的高斯椭球看着真实,物理引擎却根本不认识它们,做不了碰撞检测,也做不了物理模拟。

想在游戏里用,开发者通常得做一步昂贵的「后处理」,把高斯转成传统的三角形网格。这不仅速度慢,模型表面还经常坑坑洼洼,彻底抵消了前向生成算法的速度优势。

研究团队提出了名为 TriSplat 的前向 3D 重建网络。它直接换掉了底层的几何逻辑,不用高斯基元,而是直接用有方向的三角形基元去表征场景,最快 1.2 秒就能输出可用的网格模型。

扔掉高斯球,直接用三角形拼世界

TriSplat 的想法很直接:既然下游引擎最终只认三角形网格,为什么不一开始就直接预测三角形?

但这在技术上并不容易。三角形有明确的法线和边界,如果让神经网络直接盲猜三角形的朝向,很容易导致面片乱飞、表面破碎。特别是在无相机位姿的稀疏视角下,难度更大。

TriSplat 的解法相当聪明。在接收无标签输入图像并结合 DINOv2 特征后,网络首先预测局部 3D 点图,再从点图中推导出几何法线,接着利用图像条件法线头进行校准,最终转化为稳定的局部坐标系来定位三角形。

为了让训练更平稳,研究团队还引入了单目法线引导机制,并配合不透明度与模糊调度,在训练过程中逐步收紧表征,让模糊的三角面最后严丝合缝地贴合在物体表面。

在 RealEstate10K 和 DL3DV 数据集上的测试表明,TriSplat 在保持优秀的新视角渲染画质的同时,几何还原度明显超过了基于高斯的前向基线模型。

为什么重要

我们认为 TriSplat 最聪明的地方,在于它没有在「怎么把高斯转成网格」这条老路上死磕,而是干脆从源头重构了基元表达。

对游戏开发者和具身智能研究者来说,这一步跨越非常实在。过去的很多 3D 生成模型只能看、不能碰,而 TriSplat 输出的三角形天然兼容现有的图形渲染管线,1.2 秒出模后就能直接拖进 Unreal 引擎,挂上碰撞箱跑物理模拟。

对于需要海量合成场景来训练机器人的具身智能领域,这种端到端直出网格的吞吐速度,可能会让场景生成的边际成本大幅下降。

不过目前来看,从几张稀疏图片直接推测复杂拓扑结构,在极端遮挡或超精细边缘处依然面临挑战。但它至少证明了一件事:在追求视觉真实感的同时,AI 生成 3D 资产完全不需要以牺牲物理可用性为代价。

来源 (1)

  1. [1]

每日 AI 内容精选