NVIDIA 釋出開源全模態模型 Nemotron 3 Nano Omni：吞吐提升最高 9 倍

Nemotron 3 Nano Omni 是 NVIDIA 開源的全模態理解模型，能在一個模型裡同時跑視覺、音訊、影像與文本推理，專為多模態智慧體設計。

做智慧體開發的人經常要面對一堆零碎模型：看螢幕調一個視覺模型，聽語音調一個語音識別模型，最後把結果丟給語言模型。不同模型之間倒騰資料不僅增加呼叫延遲，還容易丟失上下文。Nemotron 3 Nano Omni 把這些感官收攏到了同一套系統裡。

它能做什麼

這個模型主要用於五類重度多模態任務：長文件分析、長音訊轉錄與理解、音影片聯合分析、Agent 電腦操作以及通用多模態推理。

處理複雜長文件時，它不只是做簡單的文字提取，而是能結合排版、表格、圖表與跨頁結構做跨頁綜合分析，支援 100 頁以上的複雜資料。

在電腦操作方面，它支援 1920×1080 原生高畫質解析度輸入。智慧體可以一邊看全高畫質螢幕錄屏，一邊解析介面狀態並直接做出決策，省去了以往截圖壓縮和多級分析的等待時間。

此外，它支援長達 1 小時的音訊輸入和最多 2 分鐘、256 幀的影片理解。在客服質檢或影片監控場景下，它能把說話內容、畫面動作與文字記錄合併到同一推理流中，而不是拼湊斷片。

怎麼做到的與硬體規格

Nemotron 3 Nano Omni 採用了總引數 30B、每次推理僅啟用 3B 的混合專家架構。底座採用 Mamba-Transformer 混合骨幹，視覺部分接入 C-RADIOv4-H 編碼器，音訊部分接入 Parakeet-TDT 編碼器。

這種結構讓它在保持小模型計算開銷的同時，具備大上下文能力。整個模型支援 131K token 上下文視窗、思維鏈推理、工具呼叫以及帶詞級時間戳的結構化 JSON 輸出。

效能測試顯示，在維持使用者互動響應的前提下，該模型的系統吞吐量比同類開源全模態模型高出最高 9 倍。單流推理速度提升了 2.9 倍，其中多文件場景系統效率高出 7.4 倍，影片場景高出 9.2 倍。

在 OSWorld 評測中，它取得了 47.4 分，遠高於 Qwen3-Omni 30B-A3B 的 29.0 分；在長文件評測 MMLongBench-Doc 上拿到 57.5 分，同樣領先其他開源競爭對手。

模型現已在 Hugging Face 開源，提供了 BF16、FP8 和 NVFP4 權重檔案，同時開放了訓練資料集與訓練配方。開發者也可以通過 OpenRouter、build.nvidia.com 以及 Amazon SageMaker JumpStart 直接部署體驗，單機支援從本地 Jetson、工作站一直擴充套件到 Blackwell 雲端叢集。

為什麼重要

如果你正在開發需要讀屏操作軟體、即時分析會議錄音或處理雜亂企業報表的 AI Agent，Nemotron 3 Nano Omni 值得立刻上手。它最大的價值在於消除了傳統多模型管道的拼裝成本，讓多模態 Agent 的延遲終於落到了可用區間。

我們認為，NVIDIA 這一步走得相當實在。它沒有去卷單純的純文本引數大模型，而是把開源全模態與自家推理棧深度繫結。對於不想把敏感螢幕資料和內部文件傳給閉源商業 API 的團隊來說，這是一個兼顧吞吐量與精度的開源替代方案。