NVIDIA 发布开源全模态模型 Nemotron 3 Nano Omni：吞吐提升最高 9 倍

Nemotron 3 Nano Omni 是 NVIDIA 开源的全模态理解模型，能在一个模型里同时跑视觉、音频、图像与文本推理，专为多模态智能体设计。

做智能体开发的人经常要面对一堆零碎模型：看屏幕调一个视觉模型，听语音调一个语音识别模型，最后把结果丢给语言模型。不同模型之间倒腾数据不仅增加调用延迟，还容易丢失上下文。Nemotron 3 Nano Omni 把这些感官收拢到了同一套系统里。

它能做什么

这个模型主要用于五类重度多模态任务：长文档分析、长音频转录与理解、音视频联合分析、Agent 电脑操作以及通用多模态推理。

处理复杂长文档时，它不只是做简单的文字提取，而是能结合排版、表格、图表与跨页结构做跨页综合分析，支持 100 页以上的复杂资料。

在电脑操作方面，它支持 1920×1080 原生高清分辨率输入。智能体可以一边看全高清屏幕录屏，一边解析界面状态并直接做出决策，省去了以往截图压缩和多级分析的等待时间。

此外，它支持长达 1 小时的音频输入和最多 2 分钟、256 帧的视频理解。在客服质检或视频监控场景下，它能把说话内容、画面动作与文字记录合并到同一推理流中，而不是拼凑断片。

怎么做到的与硬件规格

Nemotron 3 Nano Omni 采用了总参数 30B、每次推理仅激活 3B 的混合专家架构。底座采用 Mamba-Transformer 混合骨干，视觉部分接入 C-RADIOv4-H 编码器，音频部分接入 Parakeet-TDT 编码器。

这种结构让它在保持小模型计算开销的同时，具备大上下文能力。整个模型支持 131K token 上下文窗口、思维链推理、工具调用以及带词级时间戳的结构化 JSON 输出。

性能测试显示，在维持用户交互响应的前提下，该模型的系统吞吐量比同类开源全模态模型高出最高 9 倍。单流推理速度提升了 2.9 倍，其中多文档场景系统效率高出 7.4 倍，视频场景高出 9.2 倍。

在 OSWorld 评测中，它取得了 47.4 分，远高于 Qwen3-Omni 30B-A3B 的 29.0 分；在长文档评测 MMLongBench-Doc 上拿到 57.5 分，同样领先其他开源竞争对手。

模型现已在 Hugging Face 开源，提供了 BF16、FP8 和 NVFP4 权重文件，同时开放了训练数据集与训练配方。开发者也可以通过 OpenRouter、build.nvidia.com 以及 Amazon SageMaker JumpStart 直接部署体验，单机支持从本地 Jetson、工作站一直扩展到 Blackwell 云端集群。

为什么重要

如果你正在开发需要读屏操作软件、实时分析会议录音或处理杂乱企业报表的 AI Agent，Nemotron 3 Nano Omni 值得立刻上手。它最大的价值在于消除了传统多模型管道的拼装成本，让多模态 Agent 的延迟终于落到了可用区间。

我们认为，NVIDIA 这一步走得相当实在。它没有去卷单纯的纯文本参数大模型，而是把开源全模态与自家推理栈深度绑定。对于不想把敏感屏幕数据和内部文档传给闭源商业 API 的团队来说，这是一个兼顾吞吐量与精度的开源替代方案。