NVIDIA 釋出 Cosmos 3：讓機器人「先想後動」，直接輸出關節軌跡

Cosmos 3 是 NVIDIA 推出的開源物理 AI 世界基礎模型，核心就是讓機器人、自動駕駛和視覺 AI 具備「先想後動」的能力。

以往做機器人具身智慧，生成影片、物理理解和動作控制往往分散在不同模型裡，串接起來不僅延遲高，還容易脫節。Cosmos 3 把視覺推理、跨模態生成以及原生動作預測整合進了同一個開源模型，不僅能模擬環境演變，還能直接輸出機械臂關節角度、夾爪位置和運動軌跡點等數值控制訊號。

它是怎麼做到「先想後動」的

Cosmos 3 在架構上採用了雙塔混合 Transformer（MoT）設計。

第一個塔是推理器（Reasoner），本質上是一個自迴歸視覺語言模型。它負責扮演大腦，先觀察輸入的影像、影片或文本，解析場景裡有什麼物體在動、運動軌跡是否衝突，以及背後的物理因果關係。推理器可以單獨跑，專門用來做場景理解。

第二個塔是生成器（Generator），基於擴散模型構建。當需要生成合成影片或具體的機器人動作時，生成器會以推理器的理解結果為前提，生成符合物理規律的連續幀或數值動作指令。

這種設計省去了開發者在多個模型管道之間來回排程的麻煩。無論是輸入文字生成物理影像、輸入影片預測未來畫面，還是輸入多視角影片直接生成機器人的操作動作，它都能直接支援。

兩個規格、開源程度與硬體門檻

這次 NVIDIA 一共放出了兩個不同尺寸的模型。

Cosmos 3 Nano 擁有 16B 引數，專為高效推理最佳化。如果你手裡有一塊工作站級別的 NVIDIA RTX PRO 6000 GPU，就可以把它部署在本地，跑即時的機器人推演和動作生成。

Cosmos 3 Super 則是 64B 引數的完整版本，主打極高畫質和複雜物理推理。它針對資料中心的 NVIDIA Hopper 與 Blackwell 架構 GPU 最佳化，適合用來大規模生成高質量的合成訓練資料。

測試表現上，Cosmos 3 在智慧基礎設施理解基準 VANTAGE-Bench、交通異常推理挑戰賽 TAR，以及世界模型測試 Physics-IQ、R-Bench 和 PAI-Bench 上均位列前茅。在實機測試中，Cosmos 3 Nano 後訓練策略在 DROID 機器人實機環境 RoboArena 與模擬環境 RoboLab 上同樣拿下了領先成績。

目前這套模型採用 Linux 基金會的 OpenMDW 1.1 協議開源。NVIDIA 不僅在 Hugging Face 放出了權重，還在 GitHub 上公開了程式碼和後訓練指令碼，同時開源了涵蓋機器人、駕駛和物理模擬的合成數據集，開發者也可以直接通過 build.nvidia.com 線上體驗或用 NVIDIA NIM 微服務進行部署。

落地方面，Agile Robots 已經將其用於 Thor 3、FR3 等人形及工業機器人的雙臂操作策略訓練；Linker Vision 則用它的視覺語言推理能力處理數千路智慧城市監控影片。

為什麼重要

物理 AI 最頭疼的問題就是真實資料太貴、危險邊緣場景根本無法安全復現。Cosmos 3 把「物理規律理解」和「機器人具體控制訊號」打包到同一個模型裡，讓開發者不需要在模擬器裡反覆手工搭場景，直接用生成模型就能批次產出帶關節角度的訓練資料。

對於正在做人形機器人、機械臂操作和自動駕駛落地的團隊來說，Cosmos 3 值得立刻下載測試。Nano 版本的門檻控制在一塊高階工作站顯示卡上，非常適合中小團隊快速驗證演算法；不過要想充分利用它的世界生成能力，大規模基礎設施成本依然不低。