NVIDIA 发布 Cosmos 世界模型：把千里路测放大成数十亿虚拟里程

NVIDIA Cosmos 是一个面向自动驾驶和机器人开发的开源世界基础模型平台。它把生成式模型、分词器与视频处理管线打包在一起，核心目的就是把车队采集到的数千英里真实路测，在虚拟空间里扩充成数十亿英里驾驶里程。

在自动驾驶研发流程中，它补上了数据飞轮的关键短板。结合 Omniverse 仿真平台，Cosmos 可以针对极端罕见路况做高拟真场景生成与闭环评估，省去海量实车路测和数据清洗成本。目前 Waabi、Wayve 已经在用它检索极端驾驶场景，Uber 也带着路测数据集接入合作。

架构与硬件门槛

Cosmos 3 采用了统一的 Mixture-of-Transformers 架构，把能力拆成了两个核心塔。推理塔接收文本和图像，负责物理常识理解和任务规划；生成塔则同时吃进文本、视觉、音频和动作指令，输出连续的多视角视频与动作策略。

模型家族按硬件规格分成了三档大小，适用不同场景。

最大的是 64B 的 Cosmos3-Super，需要 H200、B200 这类数据中心算力，主要用来生成超高画质的合成数据，或给小模型做知识蒸馏。

中间档是 16B 的 Cosmos3-Nano，能在 RTX Pro 6000 或单张 H100 上跑起来，兼顾了生成质量与推理速度，是大多数开发者用来做二次训练的基础模型。

最小的是 4B 的 Cosmos3-Edge，专门针对边缘设备打造，可以直接部署在 Jetson AGX Orin 或 Thor 车载芯片上，负责实时的动作策略和视觉推理。

怎么跑起来

Cosmos 的模型权重已通过开放模型许可证在 Hugging Face 和 NVIDIA NGC 上提供，配套代码也已开源在 GitHub 上，后续还会上线 NVIDIA NIM 微服务。

本地动手的门槛主要在显存和权限。在用 diffusers 脚本调用之前，需要先在 Hugging Face 申请并通过 Cosmos-1.0-Guardrail 安全护栏的授权，登录带权限的 Read Token。

官方仓库提供了详细的 Cosmos Cookbook，包含端到端训练框架、数据筛选工具以及兼容 OpenAI 格式的 vLLM 部署方案。即使是跑默认的 Nano 版本，第一次也会下载 16B 的权重，扩散步数的算力开销较大，需要准备充足的显存和生成时间。

为什么重要

对于自动驾驶算法团队和机器人开发者来说，Cosmos 是目前少有覆盖全尺寸、且同时打通推理与生成的开源物理 AI 底座。它把过去只有头部大厂才能负担的数据合成与仿真管线开放了出来，省去了从头搭建世界模型的巨额成本。

但对独立开发者来说，它的硬件门槛依然不低。哪怕是中间档的 Nano 版本，也需要专业工作站级显卡才能跑动，加上必须通过安全护栏申请才能拉取权重，它本质上是一套面向产业工程落地的严肃生产力工具，适合团队深入评估。