Pixal3D 開源:靠畫素對齊做圖生 3D,生成超高精度幾何網格
圖生 3D 模型 Pixal3D 開放本地執行程式碼。它摒棄了傳統生成模型在規範空間鬆散匹配影像的做法,直接將 2D 畫素與 3D 結構明確對應。其輸出的 3D 網格在幾何精度與紋理細節上逼近真實重建水平,效果顯著超越同類工具。

用單張圖片生成 3D 模型這件事,很多開發者和 3D 設計師已經試過不少工具,但結果往往很讓人頭疼:要麼幾何結構糊成一團,要麼生成的紋理和原始圖片根本對不上。
圖生 3D 模型 Pixal3D 正式釋出,並開放了本地執行的程式碼與說明。從演示效果來看,它在幾何精度和紋理還原度上,幾乎達到了逼近真實 3D 重建的水平。
別讓 AI 猜畫素,直接把 2D 連上 3D
以往絕大多數圖生 3D 工具,生成的邏輯其實有些繞彎子。模型通常是在一個預設的規範空間裡憑空捏出形狀,然後靠注意力機制去粗略參考輸入的 2D 影像。
這種做法的問題在於,模型根本不知道輸入的哪顆畫素對應 3D 模型的哪個表面。結果就是很多細節全靠 AI 腦補,生成的模型一旦換個角度,就完全走樣了。
Pixal3D 換了一條更紮實的思路。它借鑑了傳統 3D 重建的邏輯,提出了畫素反向投影方案,把多尺度的影像特徵直接拉昇到 3D 特徵體中。
說白了,它不再讓 AI 去盲猜畫素歸屬,而是明確把二維影像上的每個畫素與三維結構直接釘在一起。在官方對比中,無論是處理一張複雜的披薩圖片,還是對比 Hunyuan 3D 和 Trellis 2 等對手,Pixal3D 的網格細節和邊緣銳度都明顯更高。
除了單圖生成,這項技術還能自然擴充套件到多視角輸入,甚至有一套模組化流程,能從圖片中直接拆解出物體分離的 3D 場景。
怎麼在本地跑起來
對於想要動手實操的人來說,好訊息是專案團隊沒有把東西藏在演示影片裡,而是直接給出了執行程式碼。
專案頁面已經開放了本地部署說明。開發者只要按照指引下載程式碼,就能在本地電腦上跑起這套生成流程。
這意味著從事獨立遊戲開發、虛擬製作或者電商產品視覺化的團隊,不需要依賴昂貴的線上雲端排隊,就能把自己的素材快速變成可用的 3D 網格資產。
為什麼重要
我們認為,Pixal3D 最亮眼的地方在於它務實的技術取向。過去一年很多 3D 生成模型都在比拼誰的夢做得更逼真,卻忽視了 3D 生產管線最看重的硬指標:幾何保真度。
對於遊戲美術和影視資產製作者來說,一個充滿幻覺但看起來好看的模型,修模的成本甚至超過重新建模。Pixal3D 用畫素對齊把精度做實,才真正讓圖生 3D 有了進入嚴肅生產環節的可能。
對行業而言,這會倒逼其他主流生成工具改變架構設計。純靠注意力機制在規範空間摸索的舊思路,在面對這種重建級別的對齊精度時,劣勢會越來越明顯。
不過也需要看到,本地部署對顯示卡和硬體環境依然有門檻,而且從單圖反推多視角遮擋區域的紋理時,依然要考驗模型的泛化能力。但至少現在,創作者手裡多了一個真正不用重捏細節的 3D 生成利器。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org