跳到正文
IFAI

AIGC

李飛飛創辦的 World Labs 亮相:單張照片生成可漫遊 3D 場景

首次發布 傳播指數 39

李飛飛聯合創辦的 World Labs 公佈首個系統,能將單張照片變成在瀏覽器裡實時互動的 3D 場景。模型不僅符合物理規律,還能用鍵鼠調節景深並自由移動視角。雖然目前漫遊範圍有限,但為可控的「世界模型」邁出關鍵一步。

李飛飛創辦的 World Labs 亮相:單張照片生成可漫遊 3D 場景
圖:techcrunch.com

拿出一張平平無奇的照片,點一下,你就能像玩第一人稱遊戲一樣走進去,轉動視角,甚至伸手改改裡面的光影。

由李飛飛創立的 AI 初創公司 World Labs,最近端出了他們的第一個研究成果:一套能把單張 2D 照片變成可互動 3D 場景的 AI 系統。

像玩遊戲一樣走進一張照片

市面上能把照片變成 3D 模型的工具已經不少,但 World Labs 這次拿出來的東西不太一樣。它生成的不是一個孤立的擺件,而是一個完整的空間。

在他們官網放出的早期演示裡,任何人在瀏覽器裡靠鍵盤和滑鼠就能四處走動。畫面在網頁端即時渲染,鏡頭還配了可調節的模擬景深,調高景深之後背景就會自然虛化。

更關鍵的是場景的物理感。像之前 Decart 釋出的 Minecraft 模擬器 Oasis,最大的毛病是解析度低,而且轉個身就會把剛才的地圖忘得一乾二淨。

World Labs 這次押注的是所謂「世界模型」。他們聲稱生成的場景一旦建立就會保持空間一致性,符合基礎物理規律,有實體感和縱深,不會走兩步牆就融化了。

除了四處張望,系統還允許使用者對場景做輕度修改。比如動態更換背景的光照條件,或者改換場景中物體的顏色。

不過,它現在還只是個早期預覽版本。畫風整體偏卡通,你能探索的範圍其實只有一小塊,走幾步就會撞上空氣牆,偶爾還會看到兩個物體不自然地穿模攪在一起。

估值十億的「世界模型」野心

World Labs 成立於今年早些時候,估值已經突破 10 億美元。它從 a16z、Intel Capital、AMD Ventures 以及前 Google CEO Eric Schmidt 等人手裡拿了 2.3 億美元融資。

聯合創始人 Justin Johnson 最近在播客裡提到,傳統上搭建一個虛擬互動世界要砸幾億美元和幾年的開發時間。World Labs 想做的事情,是直接跨過 2D 圖片和影片片段,直接生成一個能互動、有物理規律的完整 3D 環境。

他們計劃在 2025 年正式推出首款商用產品,目標客戶群非常明確,就是遊戲開發者、電影製片廠、藝術家和工程師。

為什麼重要

我們認為,World Labs 的切入點極其聰明,它直接挑中了當前文生影片工具最致命的軟肋。

現在的影片生成模型看著再逼真,說白了依然是基於畫素預測的二維幻燈片。運鏡稍微劇烈一點,或者想換個機位補拍,畫面裡的建築和邏輯就會徹底穿幫,根本無法直接塞進遊戲引擎或影視管線做資產。

World Labs 從第一天起就堅持在 3D 空間和物理定律裡做生成,這意味著它輸出的結果天然自帶一致性。如果普通創作者能在幾秒鐘內把一張概念圖變成一個能打光、能架攝像機的粗模場景,前期勘景和分鏡設計的門檻會被砸得粉碎。

但它現在的隱患也相當明顯。撞牆式的微小探索區域和偶發的穿模渲染錯誤,說明模型在腦補畫面盲區時的空間想像力還很有限。

對於大部分讀者和普通開發者來說,現在這套技術還只能算是個技術嚐鮮,遠不到能放進工作流的地步。它的真正大考在 2025 年,到時就看它端出的商業工具,到底是一個真正可用的下一代虛擬攝影棚,還是僅僅算力堆出來的華麗玩具。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選