Microsoft、画面操作とロボット制御を統合するAIモデル「Magma」を発表

スマートフォンの画面を操作してメッセージを送るAIと、キッチンでロボットアームを動かしてウインナーをつかむAIは、これまでまったく別の技術として開発されてきました。前者はピクセルやウェブ要素を追い、後者はモーターのトルクや物理空間の軌道を追うのが当たり前だったからです。

マイクロソフトの研究チームが発表したマルチモーダル基盤モデル「Magma」は、この2つの領域を1つのモデルで統合しようとする試みです。画面のUIナビゲーションから現実のロボット操作まで、同じアーキテクチャ上で処理できる能力を示しています。

点と軌跡で空間アクションをシンプルに解く

AIに連続した動作を理解させようとすると、従来は次の映像フレームを丸ごと予測するアプローチが多く採られてきましたが、これには膨大な計算リソースが必要で、背景の余計な変化に惑わされやすい難点がありました。

Magmaはこれを解決するために、Set-of-Mark（SoM）とTrace-of-Mark（ToM）という2つの仕組みを導入しました。SoMはクリック可能なボタンやロボットアームの先端に番号付きのマークを付与して位置を特定し、ToMはそのマークの未来の移動軌跡だけを予測します。

動画全体を生成する代わりにマークの軌跡だけを追うことで、消費するトークン数を大幅に抑えながら、より長い時間軸の動作計画が可能になりました。テキストや画像、動画は共通のビジョンエンコーダーを経てLLMに入力され、言葉、空間座標、動作コマンドを直接出力します。

スマホのフライトモード設定から実機ロボットの調理まで

Magmaの強みは、デジタル世界と物理世界をまたぐ適応範囲の広さにあります。ソフトウェア上では2Dゲームをプレイして指定ブロックを回収したり、「シアトルの天気を調べてフライトモードをオンにする」といった複数手順のスマホ操作をこなします。

実機のWidowXロボットを使った実験では、ソーセージをつまんで置く、キノコを鍋に入れる、布を押し動かすといった作業において、既存のオープンソース具身モデルであるOpenVLAを安定して上回る成功率を記録しました。未知の物体や環境に対する汎化性能も確認されています。

ゼロショット評価において、LLaVA-OneVisionやQwen2-VL、GPT-4o miniなどの既存モデルと比較した際、事前の専門的なファインチューニングなしで動画理解、空間推論、UI操作、ロボット制御にまたがる全タスクスペクトラムを実行できたのはMagmaだけだったと報告されています。

なぜ重要か

画面上のボタンをクリックする行為と、現実のテーブルで物を動かす行為を、同じ「マークの空間軌跡予測」として抽象化した点が非常に合理的だと考えられます。これまで画面自動化用とロボット制御用で完全に分断されていた開発パイプラインが、1つの基盤モデルに収束する道筋が見えてきました。

開発者にとっては、対象がモバイルアプリであれ産業用アームであれ、同じ基盤モデルから少量のデータ適応でエージェントを構築できる可能性が開かれます。ただし、詳細な物理シミュレーションを省いて軌跡だけで動作を決めているため、ミリ単位の精密な力加減や高周波なフィードバック制御が求められる現場では限界に突き当たるリスクもあります。

業界全体で見れば、マルチモーダルモデルの評価基準が「画像を説明できるか」から「画面や現実で実際に動けるか」へ明確にシフトし始めたことを示す好例といえます。