跳到正文
IFAI

開源專案

Stability AI 聯手 Tripo 開源 TripoSR:單圖生 3D 不到半秒,無 GPU 也能跑

首次發布 傳播指數 49

Stability AI 聯手 Tripo AI 推出開源 3D 重建模型 TripoSR。它能根據單張圖片在 0.5 秒內生成帶紋理的 3D 模型,即便沒有獨立顯示卡也能執行。程式碼與權重採用 MIT 協議開源在 GitHub 和 Hugging Face,允許商用。

Stability AI 聯手 Tripo 開源 TripoSR:單圖生 3D 不到半秒,無 GPU 也能跑
圖:stability.ai

TripoSR 是 Stability AI 和 Tripo AI 聯手開源的 3D 快速重建工具,核心能力就一句話:餵給它一張單視角的 2D 圖片,不到一秒就能吐出一個帶紋理的 3D 網格模型。

它的最大特點就是快和輕。在輝達 A100 顯示卡上測試時,TripoSR 生成一個草稿級 3D 資產僅需大概 0.5 秒;更難得的是,它在極低的算力預算下也能跑,即便電腦沒有獨立顯示卡,只靠 CPU 同樣可以順利完成重建。

它能做什麼,怎麼做到的

對於遊戲製作、工業設計、建築概念圖和數字娛樂從業者來說,把概念平面圖轉成 3D 往往是一道繁瑣的工序。TripoSR 的目標不是一步到位生成影視級精細模型,而是以極快的速度給出一個立即可用的三維雛形。

在生成效果上,官方對比測試顯示,它的輸出質量和生成速度都明顯勝過 OpenLRM 等現有的開源單圖生 3D 模型。

在技術架構上,TripoSR 是在開源模型 LRM(單圖到 3D 大型重建模型)的基礎上改進而來的。團隊針對基礎 LRM 進行了多項針對性最佳化,包括調整網路通道數以壓榨計算效能、引入掩碼監督,以及改用效率更高的裁剪渲染策略。

在訓練資料方面,團隊從 Objaverse 資料集中精選了符合 CC-BY 授權的高質量子集,並結合了多樣化的資料渲染技術,讓生成的虛擬影像更加貼近現實世界的影像分佈,從而大幅提升了模型在面對各種現實物體時的泛化能力。

怎麼跑起來與開放程度

這次雙方的開源非常徹底,程式碼和權重都沒有藏私。

專案完整原始碼已經託管在 Tripo AI 的 GitHub 上,模型權重也可以直接在 Hugging Face 頁面下載。更關鍵的是,它採用的是完全開放的 MIT 許可證,明確允許個人娛樂、學術研究以及任何形式的商業整合。

在執行環境上,它對硬體極其寬容。你既可以把它部署在配有高效能 GPU 的伺服器上榨出半秒以內的極限速度,也可以在本地無 GPU 的低配裝置上執行,降低了本地部署和嘗試的門檻。

為什麼重要

對於獨立遊戲開發者、3D 建模師和創意設計人員來說,TripoSR 非常值得馬上裝進自己的工具箱。雖然它輸出的是草稿級模型,佈線和紋理細節後續仍需微調,但 0.5 秒的極速反饋意味著你可以即時預覽各種創意變體,把它無縫嵌進前期的概念驗證流程中。

我們認為,TripoSR 走了一條非常聰明的路線。之前的很多 3D 生成模型一味追求細節,導致推理動輒耗時數分鐘且極度依賴高規格顯示卡;TripoSR 則選擇犧牲一部分極度精細的邊緣表現,換取了能在 CPU 上跑的極致輕量與商用友好的 MIT 授權。這讓單圖生 3D 真正從只能在雲端演示的 Demo,變成了任何開發者都能隨便呼叫的生產力基礎模組。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

話題追蹤Stability AI 的 3D 生成模型開發

這個話題的歷次新聞,最新的在上面。

  1. Stability AI 釋出 Stable Video 3D:一張圖生成 3D 網格與環繞影片
  2. Stability AI 聯手 Tripo 開源 TripoSR:單圖生 3D 不到半秒,無 GPU 也能跑本則
  3. Stability AI 釋出 Stable Zero123:單圖生成 3D 模型
  4. Stability AI 開啟 Stable 3D 預覽:幾分鐘把文字和圖片做成 3D 模型

每日 AI 內容精選