Ai2がMolmoMotionを公開：言語指示から物体の3D軌跡を予測

MolmoMotionは、Ai2がオープンソースとして公開した3D運動予測モデルです。動画の開始フレーム、物体表面の3D座標点、そして自然言語による指示を入力するだけで、対象のポイントが現実空間で今後数秒間にどう動くかを3D軌跡として推定します。

これまでのコンピュータビジョンは過去の動きの追跡に優れていましたが、ロボット制御やリアルな動画生成には未来の動きの予測が不可欠です。MolmoMotionはまさにその事前予測を担うツールです。

仕組みと特徴

MolmoMotionは動画全編をレンダリングするのではなく、世界座標系における疎な3D表面点群として運動を表現します。物体の種類を問わず汎用的に扱え、カメラ視点の変化にも強く、ロボットや生成モデルへそのまま入力できます。

バックボーンにはMolmo 2を採用しています。画像特徴とテキスト指示から対象物体を同定し、3D軌跡を出力します。今回Ai2は特性の異なる2つのモデル構成を公開しました。

MolmoMotion-ARは自己回帰型モデルで、3D座標を構造化テキストとして1ステップずつ生成します。直前の軌跡を参照しながら連続的に出力するため、軌道が明確な動作で高い精度を発揮します。

MolmoMotion-FMはフローマッチング型モデルで、連続的な3D空間上でノイズから軌跡を生成します。1つの指示に対して複数の動作パターンが考えられる状況でも、曖昧さをうまく表現できます。

学習には、通常の動画から3D軌跡を自動抽出・ノイズ除去して構築したMolmoMotion-1Mデータセットを使用しています。116万本の動画、736種類の動作、5600種類の物体をカバーする大規模なものです。

性能と応用分野

2700本の動画で構成される独自ベンチマークPointMotionBenchにおいて、既存の動画生成モデルや物理ベースラインを上回る追従精度を記録しました。

ロボット工学分野での効果も実証されています。実環境ロボットデータセットDROIDでファインチューニングしたところ、シミュレーションでのピッキング作業成功率はMolmo 2単体の56.0%から76.3%へと大きく向上しました。実機でも従来比約6分の1の学習ステップ数で同等の精度に達しています。

また、画像から動画を生成する際、この3D軌跡を誘導情報として渡すことで、テキスト指示通りの自然な物理動作を動画生成モデルに再現させることが可能です。

注意点として、現在の学習設定では1物体あたり8点のみを追跡しているため、複雑に変形する布や液体の表現には限界があります。

コード、モデル重み、116万本のデータセット、ベンチマークはGitHubおよびHugging Faceで公開されています。

なぜ重要か

ロボットの動作計画や制御可能な動画生成に取り組むエンジニアにとって、今すぐ試す価値があるオープンモデルです。

動画ピクセル全体を無理に予測するのではなく、VLMに意味理解を任せつつ、物理挙動を疎な3D点群の軌跡として取り出した設計が非常に合理的です。計算コストを抑えながら確実な制御信号を得られます。

8点という制約上、柔軟物の扱いはまだこれからですが、マニピュレータの経路生成や動画生成の物理誘導モジュールとして、強力なオープン基盤になると私たちは考えています。