TriSplat 提出新 3D 重建架構:跳過高斯轉網格,單次前向直出遊戲級 3D 模型
研究團隊提出前向 3D 重建網路 TriSplat,直接採用三角形基元表徵場景,單次推理即可匯出完整的 3D 網格。它省去了傳統高斯潑濺複雜的後處理轉換,最快 1.2 秒出模,生成的資產能直接接入 Unreal 等物理引擎與碰撞檢測管線。

現在用 AI 從圖片生成 3D 模型已經不算新鮮事,高斯潑濺(3DGS)渲染出的畫面也足夠驚豔。但只要你試過把這些資產塞進遊戲引擎,就會發現問題所在:那些飄在空中的高斯橢球看著真實,物理引擎卻根本不認識它們,做不了碰撞檢測,也做不了物理模擬。
想在遊戲裡用,開發者通常得做一步昂貴的「後處理」,把高斯轉成傳統的三角形網格。這不僅速度慢,模型表面還經常坑坑窪窪,徹底抵消了前向生成演算法的速度優勢。
研究團隊提出了名為 TriSplat 的前向 3D 重建網路。它直接換掉了底層的幾何邏輯,不用高斯基元,而是直接用有方向的三角形基元去表徵場景,最快 1.2 秒就能輸出可用的網格模型。
扔掉高斯球,直接用三角形拼世界
TriSplat 的想法很直接:既然下游引擎最終只認三角形網格,為什麼不一開始就直接預測三角形?
但這在技術上並不容易。三角形有明確的法線和邊界,如果讓神經網路直接盲猜三角形的朝向,很容易導致面片亂飛、表面破碎。特別是在無相機位姿的稀疏視角下,難度更大。
TriSplat 的解法相當聰明。在接收無標籤輸入影像並結合 DINOv2 特徵後,網路首先預測區域性 3D 點圖,再從點圖中推匯出幾何法線,接著利用影像條件法線頭進行校準,最終轉化為穩定的區域性座標系來定位三角形。
為了讓訓練更平穩,研究團隊還引入了單目法線引導機制,並配合不透明度與模糊排程,在訓練過程中逐步收緊表徵,讓模糊的三角面最後嚴絲合縫地貼合在物體表面。
在 RealEstate10K 和 DL3DV 資料集上的測試表明,TriSplat 在保持優秀的新視角渲染畫質的同時,幾何還原度明顯超過了基於高斯的前向基線模型。
為什麼重要
我們認為 TriSplat 最聰明的地方,在於它沒有在「怎麼把高斯轉成網格」這條老路上死磕,而是乾脆從源頭重構了基元表達。
對遊戲開發者和具身智慧研究者來說,這一步跨越非常實在。過去的很多 3D 生成模型只能看、不能碰,而 TriSplat 輸出的三角形天然相容現有的圖形渲染管線,1.2 秒出模後就能直接拖進 Unreal 引擎,掛上碰撞箱跑物理模擬。
對於需要海量合成場景來訓練機器人的具身智慧領域,這種端到端直出網格的吞吐速度,可能會讓場景生成的邊際成本大幅下降。
不過目前來看,從幾張稀疏圖片直接推測複雜拓撲結構,在極端遮擋或超精細邊緣處依然面臨挑戰。但它至少證明了一件事:在追求視覺真實感的同時,AI 生成 3D 資產完全不需要以犧牲物理可用性為代價。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org