微軟開源 TRELLIS.2-4B：單圖生成高精度 3D 資產，最快 3 秒出結果

TRELLIS.2-4B 是微軟團隊開源的 40 億引數 3D 生成模型，專門用來把單張二維圖片轉換成高精度 3D 資產。和常見生成工具不同，它直接輸出帶有完整 PBR 材質貼圖的 3D 網格，甚至能表現半透明質感，程式碼和權重都遵循寬鬆的 MIT 許可證公開發布。

它能做什麼，怎麼做到的

傳統的單圖轉 3D 方法多半依賴 SDF 或 Flexicubes 等等值面場，遇到薄壁開表面或者複雜的非流形幾何時很容易糊成一團，也沒法處理複雜的透明材質。

TRELLIS.2-4B 換了一條路，提出了名為 O-Voxel 的無場稀疏體素結構，把幾何形態與外觀材質直接編碼在一起。這種表示方法既能相容任意拓撲結構，也可以在網格和體素之間實現毫秒到秒級的無損雙向轉換。

在模型架構上，它採用了 40 億引數的 Flow-Matching Transformer，配合稀疏 3D VAE 實現了 16 倍空間下采樣。把一個 1024³ 解析度的 3D 資產壓縮到約 9600 個潛空間 token，畫質幾乎看不出損失。

在輝達 H100 顯示卡上測試，生成 512³ 解析度的資產只需要大約 3 秒，1024³ 解析度需要約 17 秒，即便拉滿到 1536³ 解析度也只要 60 秒左右。除了單圖轉 3D，它還支援給定 3D 白模和參考圖來進行紋理貼圖生成。

硬體要求與使用限制

想要本地跑起來，門檻不算低。模型目前只在 Linux 系統上做過完整測試，要求必須是視訊記憶體不低於 24GB 的輝達顯示卡，官方推薦在 A100 或 H100 上執行，軟體環境需要 Python 3.8 以上以及 CUDA 12.4 工具包。

由於它是一個未經人類偏好對齊的預訓練基座模型，生成風格完全取決於訓練資料分佈，想拿到特定藝術風格可能需要反覆除錯輸入圖片。另外，生成的原始網格偶爾會出現微小孔洞，如果用於 3D 列印這種要求嚴格水密幾何的場景，需要配合官方提供的孔洞填補指令碼做後處理。

模型權重已經託管在 Hugging Face，上個月下載量超過 240 萬次，官方還提供了 Google Colab 和 Kaggle 的 Notebook，不想本地折騰依賴的開發者可以直接線上試用。

為什麼重要

對於遊戲獨立開發者、影視概念設計師和 3D 資產創作者來說，TRELLIS.2-4B 最大的價值在於它把 3D 生成從玩具拉到了可生產管線裡。過去很多模型生成的資產只能看正面，拓撲一團糟，還沒有真實光影材質，而 TRELLIS.2 直接輸出帶法線、粗糙度和半透明通道的完整 PBR 網格，省去了大量手動重拓撲和烘焙材質的時間。

我們認為微軟這次開源非常大方，不僅放出了 40 億引數的基座權重，還把前後處理管線完整開源。雖然 24GB 視訊記憶體把消費級單卡使用者擋在門外，但以它在 H100 上幾秒級的推理速度，小型團隊完全可以通過雲端部署搭一套高效的 3D 資產概念生成流水線。