NVIDIA、エージェント向けオープン全能モデル「Nemotron 3 Nano Omni」を発表

Nemotron 3 Nano Omniは、視覚、音声、言語の推論を1つに統合した、NVIDIAのオープンマルチモーダルAIモデルです。

これまでのAIエージェント開発では、画面を見る視覚モデル、音声を拾う音声認識モデル、思考を受け持つ言語モデルを別々に連結するのが一般的でした。このやり方ではモデル間をデータが行き来するたびに推論遅延が重なり、文脈の脱落も起きやすくなります。Nemotron 3 Nano Omniは、それらの知覚処理を単一の実行ループにまとめ上げます。

できること

主な用途は、長文ドキュメント解析、音声文字起こし、動画と音声の同時理解、GUI画面操作、そして汎用マルチモーダル推論の5領域です。

100ページ以上の複雑な契約書やマニュアルのレイアウトを崩さず読み解けるほか、1920×1080のフルHD解像度の画面入力をそのまま扱えます。画面のボタン配置や状態変化を高速に把握できるため、PCの自動操作エージェントの反応速度を実用レベルへ引き上げられます。

また、最長1時間の音声や最大256フレームの動画をサポートしており、会議動画の書き起こしとスライド内容を1つの文脈として同時に推論可能です。

仕組みと性能スペック

アーキテクチャには、全体で300億パラメータ、推論時の活性化が30億パラメータとなるMamba-TransformerハイブリッドMoE構造を採用しています。Nemotron言語コアにC-RADIOv4-H視覚エンコーダとParakeet音声エンコーダを統合し、131Kトークンのコンテキスト長に対応します。

応答性を維持したスループット測定では、同等のオープン全能モデルに比べて最大9倍のスループットを達成しています。動画タスクでは約9.2倍、複数ドキュメント解析では約7.4倍のシステム効率を示しました。

画面操作ベンチマークのOSWorldでは47.4点を記録し、競合するQwen3-Omni 30B-A3Bの29.0点を大きく上回っています。

モデルはHugging Faceで公開されており、BF16、FP8、NVFP4のチェックポイントに加え、学習データセットやレシピも提供されています。商用利用が可能なライセンスで配布され、OpenRouterやbuild.nvidia.com、Amazon SageMaker JumpStartからも利用できます。端末側はJetsonからBlackwell搭載サーバーまで幅広く対応します。

なぜ重要か

画面を認識して作業を自動化するPC操作エージェントや、社内の音声・動画データを一括処理したい開発者なら、今すぐ試す価値があります。個別モデルをつなぎ合わせるオーケストレーションの苦労と遅延を一掃できる点が最大の強みです。

NVIDIAは巨大な汎用モデルで競うのではなく、エージェントの実装で最もボトルネックになりやすいマルチモーダル知覚を、自社GPUスタックに最適化された軽量MoEとして開放してきました。画面情報や社内音声を外部APIに送信したくない企業にとって、現実的なオンプレミス選択肢になります。