跳到正文
IFAI

AI科研

Anchor World 亮相:用真實人體動作引導第一人稱世界模擬

首次發布 傳播指數 36

第一人稱世界模擬器 Anchor World 公佈。它支援輸入 3D 人體動作與場景錨點圖,直接渲染出人在空間中走動並與水槽、刀具互動的第一人稱影片。這種動作驅動機制有望用於生成人形機器人的訓練資料;目前程式碼正處於稽核階段。

Anchor World 亮相:用真實人體動作引導第一人稱世界模擬
圖:arxiv.org

過去大半年裡,幾乎所有的世界模擬器都在玩兩套邏輯:要麼像打遊戲一樣用鍵盤按鍵推著畫面走,要麼丟一段提示詞讓模型自由發揮。

但這兩種方式做出來的影片,很難真正對應真實物理世界裡一個人具體是怎麼活動的。

一項名為 Anchor World 的新研究正式亮相。它換了個非常務實的思路:把真實記錄下來的 3D 人體動作當成方向盤,直接渲染出人在空間裡走動並操作物體的第一人稱影片。

不僅能走,還能伸手拿刀和擰水龍頭

Anchor World 的輸入主要有兩樣東西:一段某個人在三維場景裡移動的 3D 人體動作,以及幾張被稱為「錨點檢視」的場景參考圖。

所謂錨點檢視,就是給模型提供一個基準座標,告訴它這個房間的某個角落或操作檯究竟長什麼樣。模型結合動作和文字描述的區域性動態,就能直接生成流暢的第一人稱視點影片。

更有意思的是互動細節。它不只生成人在屋裡來回溜達的畫面,還展示了非常精細的人體動作互動,比如走到水槽前伸手操作,或是從桌上拿起一把刀。

為了解決第一人稱模擬常見的一個硬傷——第一人稱視線裡身體往往會出畫或被截斷,模型容易失去空間定位——研發團隊在訓練中引入瞭解耦的外部視角作為輔助監督。

簡單來說,就是模型在後臺能看到這個人在環境裡的全身相對位置,從而確保生成的畫面符合三維空間的幾何一致性。論文測試表明,它的表現明顯優於現有的 SOTA 基準。

為什麼重要

具身智慧和人形機器人當前面臨的一大死穴,就是高質量的第一人稱運算元據太少了。總不能僱上千人整天戴著頭顯錄切菜、擰螺絲的影片。

Anchor World 最聰明的點,在於它找到了把動作捕捉資料直接換算成第一人稱視覺訓練集的路徑。只要輸入動作骨架和環境錨點,就能低成本批次生成機器人執行各種複雜任務的訓練資料。

對開發者和具身智慧團隊來說,這個工具值得密切跟進。不過專案頁面顯示目前程式碼仍處於稽核階段,還未正式開放下載。

我們認為,它的隱患在於生成影片與物理引擎之間仍有距離。畫面看著嚴絲合縫,不等於接觸力學和微觀碰撞真實有效;用這種合成影片訓練出來的機器人,到真機部署時是否會出現動作幻覺,還需要現實硬體的進一步檢驗。

來源 (1)

  1. [1]

每日 AI 內容精選