NVIDIA、世界基盤モデルをロボット制御に転用する「Cosmos Policy」公開

Cosmos Policyは、NVIDIAが公開したオープンソースのロボット制御・計画モデルです。独自の動画生成世界基盤モデル「Cosmos Predict-2」を事後学習させたもので、追加の制御モジュールを増設することなく、ロボットアームの操作を直接担うことができます。

従来のビジョン言語モデル（VLM）は状況を言葉で理解できても、物理法則に即して関節をどう滑らかに動かすかを把握するのが苦手でした。Cosmos Policyは、ロボットの動作や物理状態、評価スコアを動画の「潜在フレーム」としてそのまま拡散モデルに入力します。映像生成と同じプロセスで学習するため、世界モデルがすでに獲得している重力や慣性、物体の挙動といった物理法則の直感をそのまま制御に活用できるのが強みです。

これにより、1つのモデルだけで手先の協調制御、将来の視覚予測、計画評価の3つを同時にこなせます。推論時は動作だけを直接出力する軽量モードと、複数の行動候補をシミュレーションして最善策を選ぶ計画モードを使い分けられます。

どの程度動くのか

ベンチマークでの数値は既存のロボット制御モデルを大きく引き離しています。

マルチタスク操作ベンチマーク「LIBERO」において、Cosmos Policyは平均98.5%の成功率を記録し、π0.5やOpenVLA-OFT、CogVLAなどの先行モデルを上回りました。

家庭環境を模した「RoboCasa」では、従来手法がタスクあたり300本のデモデータを必要としたのに対し、わずか50本のデモで平均67.1%の成功率を達成。データ効率の高さを示しています。

また、双腕ロボット「ALOHA」を用いた実機実験でも、視覚情報からの長時間の作業を自律実行しており、推論計画を有効にした場合はタスク完了率が平均12.5%向上したと報告されています。

導入と入手方法

Cosmos Policyのモデル重みはHugging Faceで、コードはGitHubで公開されています。Cosmos Cookbookのレシピに従って手元で試すことが可能です。また、基盤となるCosmos Predict 2.5も同時に案内されています。

NVIDIAは1月29日から2月26日まで、賞金5000ドルやRTX 5090、DGX Sparkを賞品としたハッカソン「Cosmos Cookoff」を開催しています。

なぜ重要か

ロボット工学や自律制御に関わる開発者にとって、Cosmos Policyはすぐに試す価値のある取り組みです。言語モデルの出力に無理やり関節制御を合わせるよりも、物理世界を予測できる世界モデルから制御を導くほうが理にかなっていることを実証しています。

一方で、拡散モデルベースのアプローチは計算コストが高くなりがちです。高価なワークステーション以外の環境で、リアルタイム制御に必要な低遅延をどこまで維持できるかが今後の実用化における焦点となります。