身体動作で動かす一人称世界シミュレータ「Anchor World」登場

これまでの世界シミュレータは、コントローラーの十字キーでカメラを動かすか、プロンプトを入力して運任せに映像を生成するものが主流でした。

しかし、そうした手法では、現実世界で人間がどのように手足を動かし作業しているかを正確に再現できません。

そうした課題に挑む新しい研究「Anchor World」が発表されました。人間の実際の 3D 身体動作をそのままコントローラーとして使い、一人称視点のインタラクティブな映像を生成する世界シミュレータです。

歩くだけでなく、包丁を握りシンクを操作する

Anchor World の入力は、3D 空間における人体動作データと、シーンの基準となる「アンカー画像」です。

アンカー画像とは、その部屋の特定の作業台や家具がどう見えるかをモデルに教えるためのスナップショットです。これに動作データとシーン変化を指定するテキストを組み合わせることで、精度の高い一人称映像をレンダリングします。

驚くべきはその精細さです。単に部屋の中を歩き回るだけでなく、キッチンでシンクを操作したり、机の上の包丁を手に取ったりといった、細かな物体操作まで一人称視点で再現します。

一人称視点モデルには「手足が画面外に出ると空間の幾何学的な位置関係を見失いやすい」という宿命的な課題がありました。そこで Anchor World は、訓練段階で一人称視点とは切り離された外部カメラの視点を補助教師データとして導入しました。

客観的な全身の空間位置をモデルに把握させることで、視線映像が破綻せず、時空間の幾何的一致を保てるよう工夫されています。ベンチマーク実験でも既存手法を明確に上回る性能を示しました。

なぜ重要か

人型ロボットの学習において、今最大のネックとなっているのが「一人称視点の作業データ」の圧倒的な不足です。人間が頭部にカメラをつけて膨大な家事動作を録画し続けるのには限界があります。

Anchor World の賢い点は、既存のモーションキャプチャや身体動作データを、そのまま一人称のビジュアル学習データへ変換できる土台を作ったことです。1 枚の部屋写真と動作データさえあれば、ロボット向けのタスク映像を理論上いくらでも合成できます。

ロボティクスや身体化 AI（具身知能）に関わる開発者にとって大いに注目すべき一歩です。ただし、プロジェクトページによるとソースコードは現在審査中となっており、一般公開にはもう少し時間がかかります。

私たちが注意すべきだと考えるのは、映像の整合性と本物の物理挙動との差です。見た目が滑らかであっても、微小な接触力学が正確でなければ、ロボットの実機に導入した際に思わぬ誤作動を招くリスクが残っています。