SpAItial 釋出 3D 世界模型 Echo-2:單張照片生成可漫遊場景,跑分超 Marble 1.1
SpAItial 釋出 3D 世界生成模型 Echo-2,可將單張照片或文本轉化為持久、可互動的 3D 環境。模型支援基於語義分割的區域性物體編輯,並能通過 3DGS 在網頁端即時渲染,在 WorldScore 基準上全面超越 World Labs 的 Marble 1.1。
現在的 AI 影片模型生成畫面很驚豔,但只要鏡頭一轉或者多走兩步,桌上的茶杯就變形了,遠處的門也憑空消失了。這其實是所有影片生成模型的通病:它們是在猜下一幀畫面,根本不懂什麼是真實空間。
AI 初創團隊 SpAItial 釋出了全新的 3D 世界生成模型 Echo-2。官方表示,它不再靠逐幀腦補畫面,而是直接從文本提示詞或單張照片裡,生成一個真正具備空間幾何一致性、可以讓人在裡面自由走動的 3D 虛擬世界。
不做連環畫,直接搭一個真 3D 空間
大多數 AI 影片模型是把畫面一幀一幀往後推,不僅極其消耗算力,還極容易發生幾何漂移。只要你讓鏡頭繞一圈回來,剛才的房間可能已經變了樣。
Echo-2 的思路完全不同。它在底層直接構建持久的 3D 場景表徵,一次性確定了空間的幾何佈局與外觀。使用者在裡面前後左右移動,場景都是固定且連續的,徹底避免了隨時間推移而變形的毛病。
更接地氣的是渲染方式。SpAItial 在網頁端採用了 3D 高斯潑濺技術(3DGS)。這意味著生成的場景不需要昂貴的工作站,直接在普通電腦的瀏覽器裡就能依靠 GPU 極速渲染,哪怕配置普通的硬體也能流暢漫遊。
不僅能看,它還能讓人隨意改動。模型內建了高精度的語義分割能力,能自動分清場景裡的桌子、椅子、地板和牆壁。如果你想重新裝修,只要輸入文字,就能單獨替換一把椅子或換掉牆皮,而周圍的傢俱佈局完全不受影響。對於建築設計和房產領域,它甚至能直接吃進一張二維戶型圖,快速拉起一套可漫遊的 3D 樣板間。
在評估世界模型生成質量的 WorldScore 基準測試中,SpAItial 稱 Echo-2 擊敗了強勁對手 World Labs 的最新模型 Marble 1.1,在內容匹配度、主觀審美質量以及綜合得分這三大核心指標上均實現了超越。
為什麼重要
世界模型這個賽道,正在從炫技式的概念演示,走向能落地的生產力工具。
對獨立遊戲開發者和空間設計師來說,Echo-2 顯著降低了三維資產和關卡搭建的門檻。過去給老房子做數字孿生或者給遊戲搭一個可探索的關卡,需要雷射掃描裝置或幾天的人工建模。現在一張照片或一段文字,幾分鐘就能拉出一個能在瀏覽器裡操作的基礎原型,甚至還能直接放進角色做玩法測試。
對整個 AI 行業而言,更深遠的影響在具身智慧。李飛飛創立的 World Labs 剛剛用 Marble 1.1 樹立了標杆,SpAItial 緊接著就用 Echo-2 叫板,說明空間智慧的競爭正在全面提速。機器人要想在現實世界幹活,必須先在虛擬模擬環境裡大量試錯。用廉價的單張照片生成高精度的虛擬空間,正好解決了機器人模擬訓練資料匱乏的最大瓶頸。
不過,目前的 Echo-2 解決的主要是靜態空間的幾何一致性。正如團隊自己所說,真正的難點在於物理規律和時間動態。如果場景裡的杯子掉下去不會碎、水龍頭擰開不會出水,那它就依然只是一個漂亮的佈景,離真正能訓練通用機器人的物理世界還有一段距離。但毫無疑問,邁出這一步,已經讓數字世界和現實空間的連線變得近了許多。
來源 (1)
- spaitial.ai(在新分頁開啟)原文spaitial.ai