Sperid Labs 開源 Idol：單圖生成百萬級 3D 高斯模型

Idol 是 Sperid Labs 開源的 3D 生成工具，能把任意一張單視角圖片直接變成標準的 3D 高斯（3D Gaussian Splatting）資產。

你給它一張普通照片、3D 渲染圖或者 AI 繪製的概念圖，它會自動完成摳圖，腦補出背面那些完全看不到的角度，最後匯出一份包含最高百萬級細節的 .ply 格式高斯點雲檔案。更重要的是，它對硬體的要求很剋制，視訊記憶體峰值只有 7.2 GB，普通人手頭的消費級顯示卡就能直接在本地跑起來。

它能做什麼

傳統的單圖重建往往需要先生成網格再貼圖，不僅計算慢，還容易在背光和遮擋面生成一團模糊的雜質。Idol 則完全基於高斯點雲，把整個物體拆解成成千上萬個空間高斯球。

模型允許使用者自由調節精細度。輸出的高斯點數量從 32,768 到 1,048,576 不等，只要是 32 的倍數都可以設定。如果你只是想快速看一眼空間輪廓，調到 3 萬多點就能極速出圖；如果需要精細紋理，拉到百萬點就能保留相當銳利的表面細節。

在 Sperid Labs 公佈的基準測試中，Idol 在 H100 上的表現全面壓制了同類開源方案。在盲區新視角的評估中，它的 DINOv2 和 CLIP 評分都超過了 TripoSplat 和 TRELLIS，銳度距離降到了 0.81。老牌模型 LGM 雖然在畫素平均誤差上微弱領先，但生成結果有明顯的肉眼可見模糊，而 Idol 在保證幾何結構準確的同時，背面推斷也更乾淨。

怎麼跑起來與硬體要求

這套模型之所以能在本地輕鬆執行，是因為它的核心架構做得足夠精簡。它的去噪與解碼核心引數只有 0.66B 左右，加上內建的摳圖標註模型 BiRefNet、DINOv3 特徵提取器以及 FLUX.2 的 VAE，整套管線的模型權重也只有 3.7 到 4.4 GB。

視訊記憶體最佳化非常激進。預設開啟 torch.compile 和 cuDNN TF32 編譯加速後，峰值視訊記憶體鎖定在 7.2 GB，速度提升接近 1.7 倍。在頂級晶片 B300 上生成 26 萬點的高斯模型只要 3.4 秒，官方宣稱特定條件下最快 2 秒出頭；在消費級顯示卡上，RTX 5090 耗時 14.1 秒，RTX 4090 約 19.1 秒，即使是 10GB 視訊記憶體的老顯示卡 RTX 3080，花 40 多秒也能穩穩跑完。

程式碼目前已經在 GitHub 開源，SDK 名稱為 idol-sdk，主模型權重託管在 Hugging Face。執行環境需要 Python 3.10、PyTorch 2.5 和支援 CUDA 的輝達顯示卡。

需要注意的是，Idol 在輸入端依賴兩個需要申請許可權的模型：Meta 的 DINOv3 和 Black Forest Labs 的 FLUX.2-dev（僅下載其 VAE）。在第一次執行指令碼前，需要在 Hugging Face 頁面勾選同意對應協議，並用終端登入賬號，之後權重會自動快取到本地。針對輸入源，工具還貼心地分了 real（真實攝影照片）和 synthetic（單物體渲染圖）兩種裁切模式。

為什麼重要

對於獨立遊戲開發者、3D 視覺創作者和工業設計人員來說，Idol 最大的價值在於把 3D 生成的試錯門檻砸了下來。以前要跑通高質量的單圖 3D 重建，往往需要動用昂貴的雲端叢集或大視訊記憶體工作站，現在一張千元級的二手顯示卡就能在幾十秒內完成資產雛形驗證。

我們認為，Idol 這種小核心配專用編碼器的設計思路非常聰明。它不盲目卷引數量，而是把多模態理解交給現成的 DINOv3，把紋理潛空間交給 FLUX.2，自己專心做好 3D 幾何分佈去噪。

不過讀者也需要看清它的侷限。高斯點雲格式並不是遊戲引擎裡開箱即用的多邊形網格，如果你需要做角色繫結骨骼或傳統物理碰撞，後續還得依賴工具轉成 Mesh。但單純作為前期的視覺概念探索和數字化擺件生成，它絕對是目前開源生態裡最輕快好用的一檔，值得本地有顯示卡的朋友下載跑跑看。