跳到正文
IFAI

開源專案

VAST 開源 Mira-Scene:單圖直接生成可編輯 3D 場景

首次發布 傳播指數 48

VAST AI Research 開源 3D 場景重建管線 Mira-Scene,可將單張圖片轉化為包含獨立物體的可編輯 3D 場景。它通過恢復畫素級對應關係,保證物體尺度與原圖嚴格一致,能直接匯入 Blender 做動畫或對接機器人模擬。目前程式碼與權重已完全開放。

VAST 開源 Mira-Scene:單圖直接生成可編輯 3D 場景
圖:github.com

Mira-Scene 是一個能把單張普通圖片直接拆解並重建為可編輯 3D 場景的開源工具。

以往用 AI 從單圖拼場景,常見的問題是物體雖然造出來了,但放在一起尺度不對、透視失真,或者和原圖裡的物體錯位。Mira-Scene 的核心思路就是解決這種漂移,保證生成出來的每個 3D 物體在空間佈局和畫素位置上與原圖嚴格對齊。

它能做什麼

只要餵給它一張普通室內或靜物圖片,Mira-Scene 就會自動把圖裡的各個獨立物體摳出來,生成各自獨立的 3D 網格模型,再把它們穩穩當當地擺回 3D 空間對應的位置。

因為每個物體都是獨立的網格,你重建完之後可以直接把整個場景打包匯入 Blender。你可以單獨選中裡面的椅子挪動位置、換貼圖,或者給它做一段物理碰撞動畫。

對搞具身智慧的開發者來說,它生成的場景能直接對接物理模擬器,用來快速給機器人搭建模擬訓練環境,省去了手動畫白模的時間。

畫素對齊是怎麼做到的

現有的 Agent 類系統如果直接從零拼裝場景,經常出現幾何形狀漂移和比例失調。Mira-Scene 換了一條路,把整套流程拆成了一套嚴密的推理管線。

它先對原圖做互動式例項分割和場景深度估計,接著通過名為 Mira-CCM 的模組預測正則化座標與體素,隨後獨立生成物體的 3D 網格。

最後一步是場景組裝與環境貼圖渲染。它通過恢復密集的畫素級對應關係重新計算所有物體的尺度與朝向,讓重建結果與原圖視角重合。

在與閉源方案 SAM3D 的對比測試中,SAM3D 依賴數百萬張資料和大量人工佈局標註,而 Mira-Scene 僅憑 8 萬條資料和全自動管線,在 3D-IoU(0.727 對比 0.520)和 2D-IoU(0.783 對比 0.672)等關鍵指標上實現了反超。

怎麼跑起來

整套專案的程式碼基於 MIT 協議開源,專案體積大約只有 6.1GB,普通的中端消費級顯示卡就能直接跑起來。

官方在 GitHub 和 Hugging Face 上同步放出了完整的推理管線、評估工具、Stage 1 與 Stage 2 的預訓練權重,以及微調所需的資料集。

程式碼支援斷點續跑,而且自帶多卡分片支援,如果手頭有多張卡,可以批次跑用例重建。

為什麼重要

如果你是獨立遊戲開發者、3D 場景建模師或者機器人模擬演算法工程師,Mira-Scene 非常值得現在部署來試一試。它把以前需要專業三維軟體逐個擺放、調尺度的活,壓縮成了一條單圖全自動處理管線,大幅降低了場景數字孿生的門檻。

在技術路線上,它用僅 8 萬條合成與微調資料擊敗了閉源的百萬級標註方案,證明了嚴謹的幾何約束與畫素對齊比無腦堆砌模型體量更管用。儘管複雜多遮擋極端視角下的表現依然依賴輸入質量,但作為完全開放的本地基礎設施,它給 3D 空間生成提供了一個極佳的開箱即用底座。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選