AI 影片變 3D 世界:新方法抹平畫面衝突,單段影片就能重建
研究人員提出 World Reconstruction from Inconsistent Views,能將 AI 生成影片轉化為一致的 3D 世界。它通過非剛性幾何對齊消除幀間形變與矛盾,單段影片即可重建,且不挑影片模型。最關鍵的是,它直接把現有影片生成器變成了可漫遊的 3D 場景工具。
研究人員提出 World Reconstruction from Inconsistent Views,能將 AI 生成影片轉化為一致的 3D 世界。它通過非剛性幾何對齊消除幀間形變與矛盾,單段影片即可重建,且不挑影片模型。最關鍵的是,它直接把現有影片生成器變成了可漫遊的 3D 場景工具。
Google DeepMind 推出實驗原型 Project Genie,底層由世界模型 Genie 3 驅動。使用者輸入提示詞或上傳草圖,就能即時生成可操作移動、支援物理互動的虛擬環境。目前生成上限為 60 秒,僅向美國 Google AI Ultra 訂閱使用者開放。
Google DeepMind 推出 3D 智慧體 SIMA 2。它接入 Gemini 核心,能像真人一樣看螢幕、用鍵鼠玩遊戲,邊操作邊推理規劃,並在從未接觸過的環境中自學提升。目前僅作為研究預覽版,向小範圍學者和遊戲開發者開放。
科技分析拆解了 AI 領域對「世界模型」的路線分歧。World Labs 的 Marble 本質是 3D 高斯潑濺資產流水線;LeCun 押注的是用於規劃與預測的認知潛變數;DeepMind 則用 Genie 與 SIMA 2 搭建互動影片模擬器。同一個詞背後其實是三種完全不同的方向。
Skywork 釋出開源長序列互動式世界模型 Matrix-Game 2.0。上週 DeepMind 的 Genie 3 引發關注但未開源,Matrix-Game 2.0 則主打完全開源,支援 25FPS 與數分鐘連續互動,讓開發者能直接執行即時可互動的世界模型。
Google DeepMind 釋出通用世界模型 Genie 3。輸入文字描述後,它能以 720p、24 幀每秒即時生成可自由探索的動態環境,並維持數分鐘的一致性。使用者還能隨時追加文本修改天氣或道具。目前它僅作為研究預覽版向少數研究者和創作者開放。