NVIDIA、物理AI基盤モデル「Cosmos 3」発表：行動前に思考し関節軌道を直接予測

Cosmos 3は、ロボットや自動運転、スマート空間などの物理AIが「行動する前に思考する」ことを目指してNVIDIAが公開したオープンな世界基盤モデルです。

これまで別々のモデルに分かれていた物理現象の理解、動画生成、動作制御を単一のオープンモデルに統合。シーンの変化をシミュレーションするだけでなく、ロボットを動かすための関節角度やグリッパー位置、移動軌道といった制御数値をネイティブに出力できます。

どのような仕組みで動くのか

Cosmos 3は、2つのタワーで構成されるMixture-of-Transformers（MoT）アーキテクチャを採用しています。

1つ目のタワーは「リーズナー（推論器）」です。自己回帰型のビジョン言語モデル（VLM）として動作し、カメラ映像やテキストから物体の配置、移動経路、物理的な因果関係を先読みして解釈します。この推論タワー単体でも動作し、異常検知やシーン分析に利用できます。

2つ目のタワーは「ジェネレーター（生成器）」です。拡散プロセスを用い、推論タワーが導き出した物理的コンテキストに基づいて、物理法則に即した合成映像やロボットの動作シーケンスを生成します。

この構成により、テキストから物理シミュレーション動画を作るタスクや、作業指示と映像を入力してロボットの双腕動作軌道を生成するタスクまで、1つのパイプラインで一貫して処理できます。

モデルサイズと動作環境

公開されたモデルは2つのサイズが用意されています。

Cosmos 3 Nanoは16Bパラメータの軽量版です。リアルタイム推論向けに最適化されており、NVIDIA RTX PRO 6000などのワークステーション向けGPUで動作します。

Cosmos 3 Superは64Bパラメータの高性能版です。HopperやBlackwell世代のデータセンター向けGPUを想定しており、高精度な合成データの大量生成や複雑な物理推論に適しています。

性能面では、世界モデル評価のPhysics-IQやR-Bench、インフラ理解を測るVANTAGE-Benchでトップクラスのスコアを獲得。実機検証であるRoboArena（DROIDロボット使用）やRoboLabシミュレーションでも、Nanoのファインチューンモデルが首位を記録しています。

すでにAgile Robotsが人型ロボット「Thor 3」や産業用アーム「FR3」の動作学習データ生成に導入しており、Linker Visionは都市監視カメラ映像の文脈解析に活用しています。

モデルやコードはLinux FoundationのOpenMDW 1.1ライセンスの下で提供されており、Hugging Faceでモデル重みと合成データセットが、GitHubで学習スクリプトが公開されています。またbuild.nvidia.comで試すことも可能です。

なぜ重要か

物理AIの開発において、事故寸前のシーンや特殊な作業環境といったエッジケースのデータ収集は極めて高コストで危険を伴います。Cosmos 3は、物理シミュレーションとロボット制御の数値出力を直結させることで、現実的な合成データと動作方針を効率的に生成できる環境をオープンに整えました。

ロボットアーム制御や自動運転の開発者にとって、Nano版はワークステーション1台で検証を始められる実用的な選択肢です。ただし、自社環境向けに本格的な世界モデルを追加学習させるには、依然として相応の計算資源が必要になります。