マイクロソフトが「MindJourney」発表：AIが仮想3D空間を歩き回って空間認識を強化

リビングの写真を見せられて、「右側のソファに座って椅子の方を向いたとき、キッチンは左右どちらにありますか？」と聞かれたら、人間なら頭の中でその位置に立ち、周囲を見渡してすぐに答えられます。

しかし、最新のマルチモーダルAIにとって、この手の3D空間推論は極めて苦手な領域でした。静止画の中の物体を認識できても、視点を動かした先の世界を思い描けないからです。

マイクロソフト研究部門が発表した新フレームワーク「MindJourney」は、まさにこの人間のメンタルシミュレーションをAIに実装するアプローチです。

脳内で仮想カメラを動かす仕組み

MindJourneyのコアは、世界モデルとして機能する動画生成システムです。前進や左右の旋回といった単一視点の移動映像を学習しており、新しい空間でも視点を変えたらどう見えるかを高精度に予測できます。

AIが空間に関する質問を受けると、世界モデルが現在の位置から移動した仮想の視点画像を複数生成します。視覚言語モデル（VLM）はフィルターとして機能し、質問の回答に役立ちそうな有望なアングルだけを選び出します。

この探索を効率化するために採用されたのが、空間ビームサーチです。限られたステップ数の中で広さと深さのバランスを取りながら、無駄なルートを切り捨てて答えへと迫ります。

モデルの再学習なしで精度が8％向上

この仕組みの大きな強みは、既存のVLMも世界モデルも追加学習させる必要がない点です。事前学習済みのモデルをそのまま組み合わせるだけで機能します。

評価テスト「SAT（Spatial Aptitude Training）」において、MindJourneyを組み合わせたVLMは、ベースラインと比較して精度が8％向上しました。

マイクロソフトは今後、視点の変化だけでなく、時間の経過に伴う物理的な環境変化まで予測できるよう世界モデルを拡張していく計画です。

なぜ重要か

動画生成AIをエンタメの映像制作ではなく、推論のための「視覚的な思考の連鎖（Chain-of-Thought）」として活用した点が非常にスマートだと考えます。

自律型ロボットやスマートホームの開発者にとって、実世界で動く前に内部の潜在空間で移動結果をシミュレーションできるメリットは絶大です。物理的な衝突リスクやバッテリー消費、モーターの摩耗を抑えられます。

一方で課題は推論コストとレイテンシです。ビームサーチで絞り込むとはいえ、推論のたびに複数枚のリアルな画像を生成・評価する処理は重く、ミリ秒単位の即応性が求められる現場への適用にはまだ壁があります。また、世界モデル側が歪んだ画像を生成した場合の推論エラーをどう防ぐかも今後の論点になりそうです。