DrFeiFei 發文談 AI 下一前沿:從語言走向世界,核心在空間智慧
DrFeiFei 撰文指出,現有大模型只是缺乏現實感知的「暗室文字工匠」,空間智慧才是 AI 的下一個前沿。她創辦的 World Labs 正在研發具備幾何與物理一致性的世界模型,試圖讓 AI 真正理解並模擬三維世界。

AI 已經學會了寫詩、寫程式碼、甚至生成逼真的短影片,但如果你讓最先進的多模態大模型判斷一張照片裡杯子和桌角有多遠,它的準確率可能比拋硬幣好不了多少。
被譽為「AI 教母」的斯坦福教授李飛飛近日發表長文,直言現在的語言模型依然是「黑暗裡的文字工匠」,能言善辯卻未曾在現實世界紮根。她認為,AI 的下一個十年不屬於更大的詞表,而屬於「空間智慧」。
與這篇長文一同落地的,還有她聯合創辦的初創公司 World Labs 推出的首款商業產品 Marble。
大模型依然是「黑暗裡的文字工匠」
在李飛飛看來,人類的智力進化早在語言出現之前,就靠感知和行動的閉環建立起來了。
小嬰兒在牙牙學語之前,就已經靠爬行和抓握來理解重力、深度與空間。無論是古希臘學者通過陰影夾角計算地球周長,還是沃森與克里克親手拼接金屬片解開 DNA 雙螺旋結構,人類許多關鍵認知突破都依賴空間想像,而不是單純的文字推演。
現在的多模態大模型雖然能看圖說話,但在空間推理上幾乎處於不及格狀態。李飛飛在文章中指出,頂尖多模態模型在判斷距離、朝向和物體尺寸時,表現常常並不比隨機猜測更好,更不用提在腦海中旋轉物體、走迷宮或者理解基礎物理規律。目前風靡的 AI 影片,也往往在幾秒鐘之後就開始失去物理連貫性。
要跨過這道坎,AI 必須從生成畫素或文本轉向構建「世界模型」,學會理解並生成具備物理一致性的三維空間。
用一句話把 3D 世界塞進虛幻引擎
去年秋天剛剛完成 2.3 億美元融資的 World Labs,正試圖把這套理論變成生意。
李飛飛與 Justin Johnson、Christoph Lassner、Ben Mildenhall 等人聯合創立的公司,本週正式釋出了首款商業工具 Marble。使用者只需要輸入文字、圖片或者影片提示詞,就能直接生成一個可以互動、可下載的三維虛擬世界。
這款工具目前分為四個層級。免費使用者每月可以生成 4 個世界;Standard 檔每月 20 美元,支援 12 次生成和更多編輯選項;Pro 檔每月 35 美元,包含 25 次生成額度並開放商業使用權;最高規格的 Max 檔每月 95 美元,提供 75 次生成。
從媒體的實際測試來看,使用者可以生成帶瀑布的露天城堡,或是被植物覆蓋的廢墟建築,並且能夠以第一人稱走入其中。不過當前的技術邊界依然明顯,使用者在場景裡走上幾步,就會撞上一道看不見的 3D 邊界牆。
好在付費使用者下載的檔案可以直接匯入 Unreal Engine 和 Unity,讓遊戲製作人員和視效團隊在專業引擎裡繼續加工。
為什麼重要
對於獨立遊戲開發者、影視概念設計師和 3D 創作者來說,Marble 值得現在就去試一試。過去搭建一個哪怕僅供前期預覽的 3D 場景,也需要數名美術師花上幾天時間,而現在幾分鐘內就能拿到一個可互動的毛胚房。
在行業格局上,當大語言模型和 2D 生圖逐漸捲入價格戰與同質化競爭,頭部力量正迅速把目光移向物理世界。Google、騰訊以及多家機器人實驗室,都在加速押注能夠理解物理規律的模型。
我們認為,World Labs 這一步走得相當務實。它沒有一上來就去死磕通用的具身智慧機器人,而是先切入 3D 內容生成的商業管線,讓遊戲和影視團隊為算力買單,用商業閉環來反哺底層的世界模型研發。
不過隱患也同樣明顯。生成幾張看起來立體的全景貼圖,和真正理解物體碰撞、剛體運動的「世界模型」之間,還隔著一條巨大的鴻溝。使用者走幾步就會撞牆的表現說明,現階段的 Marble 更像是一個高階的 3D 場景生成器,離李飛飛描繪的物理世界推理引擎,顯然還有很長的路要走。
來源 (2)
- drfeifei.substack.com(在新分頁開啟)原文drfeifei.substack.com
- theverge.com(在新分頁開啟)報導theverge.com