NVIDIA 釋出 Cosmos 框架：主打物理 AI 世界模型，覆蓋駕駛與機器人模擬

做機器人和自動駕駛的團隊，最近都在盯著「物理 AI」和世界模型。但理想很豐滿，真做起來卻滿頭包：要麼怎麼也調不好自家的雷射雷達和感測器資料，要麼好不容易搭出了模型，往車上或者機器人身上一部署，延遲高得根本沒法即時閉環。

NVIDIA 給這套流程端出了一整套解法，正式釋出了 Cosmos Framework 和配套的 Cosmos NIM 微服務。說白了，它就是想把物理世界模型的訓練、模擬以及部署環節，全給包圓了。

從 7 路影片到手術檯：讓模型學會造資料

這次更新最搶眼的，是 NVIDIA 拿出來的一批 Cosmos 3 Nano 檢查點和開發範式。

比如在自動駕駛領域，以前做極端天氣評測得冒著風險實測，現在 Cosmos3-Nano-Transfer-Auto 能直接把一段晴天行車記錄，重建成雨夜路況，同時保持原有道路結構和車道線不變。在四張 GPU 的參考執行中，它能一口氣同步生成 7 路 720p 影片和 99 次雷射雷達掃描。而蒸餾後的 Cosmos3-Nano-Sim-Auto 走因果生成路線，能根據人類或自動駕駛策略的方向盤轉動，即時推流渲染出下一步的畫面，真正跑通閉環互動。

具身智慧和手術模擬也是重頭戲。機器人方向上有 Cosmos3-Nano-Sim-Bimanual，支援針對 YAM 和 AgiBot 機器人的雙臂操作模擬；手術方面，傳統物理引擎很難模擬人體軟組織的形變，NVIDIA 則改用 Cosmos3-H-Embodied-Nano 直接從影片和機械臂運動學中學習物理規律，配合輕量化的 Cosmos3-H-Dreams，就能在不建立複雜幾何模型的前提下，讓醫生或策略演算法在實機操作前先做互動演練。

不只管訓，還拉來 Agent 幫忙部署

光有模型不夠，整個開發工具鏈也被徹底拆開了。Cosmos Framework 支援 LoRA 和全量有監督微調，資料介面吃得進 WebDataset 和 LeRobot。在強化學習層面，它不僅支援離線的 DPO，還把做具身策略常用的 PPO、帶規則獎勵的 GRPO、在策略蒸餾 OPD 以及面向擴散模型的 DiffusionNFT 全給接了進來。

更接地氣的是，NVIDIA 在框架裡內建了智慧體技能。開發者只要給 Agent 設一個帶 GPU 耗時上限的任務提示詞，Agent 就能自己呼叫指令碼做冒煙測試、跑微調並在保留資料集上做多種子比對。

而在推向生產環境的環節，Cosmos NIM 容器利用量化、KV 快取路由以及投機解碼等技術，在 H200 GPU 上跑出了 2 到 3 倍的平均推理提速。流式視覺語言模型推理還能做到亞秒級告警，把事件響應延遲直接砍到原來的十分之一。

為什麼重要

對從事具身智慧、自動駕駛和醫療機器人的團隊來說，這套工具來得非常實在。以往搭建高保真模擬環境，需要圖形學、物理引擎和硬體驅動團隊耗費數月；現在直接拿 Nano 級別模型配合少量感測器資料微調，就能低成本補齊極端案例。

視訊記憶體門檻雖然依然不低，比如 Nano 生成任務在 BF16 下需要 58 GiB 視訊記憶體，但在 FP8 加解除安裝後能壓到 31 GiB，已經能讓不少配備單卡或雙卡的工作站動手跑起來了。

更深遠的影響在生態競爭線上。NVIDIA 顯然不滿足於只賣算力，它正試圖用 Cosmos 把物理 AI 的資料合成、模型微調、強化學習對齊與最後的推理容器牢牢繫結在 CUDA 與 NIM 之上。一旦工業界習慣了這種從模擬到部署的閉環流水線，後來者想要在硬體層面替代 NVIDIA，就得連帶著推翻一整套已經跑順的工作流。我們認為，這一步走得很深，它把行業競爭的焦點直接從大語言模型，推向了更具落地門檻的實體物理世界。