本文へスキップ
IFAI

オープンソース

NVIDIA、自律型AI向けオープンモデル「Nemotron 3.5」を発表

公開 拡散指数 61

NVIDIAはエージェントAI向けモデル群「Nemotron 3.5」を発表した。120Bパラメータの「Super VL」は同級モデルと比べ最大5倍のスループットを誇る。さらに2ビット量子化で24GBメモリ環境でも動く「Bolt 74B-A9B」も公開し、企業が高度なエージェントをローカルで安全に運用できるようにする。

NVIDIA、自律型AI向けオープンモデル「Nemotron 3.5」を発表
画像:blogs.nvidia.com

NVIDIAの「Nemotron 3.5」は、自律型AIエージェントの運用に特化したオープンモデル群です。中核となる120Bパラメータのマルチモーダルモデル「Super VL」と、デスクトップ環境で動作する「Bolt 74B-A9B」で構成されています。極端な推論ベンチマークのスコアを競うのではなく、実務でのスループットと処理速度を最優先に設計されているのが特徴です。

何ができるのか、どう動くのか

Super VLは、テキストの処理だけでなく、PDF、表、グラフ、ウェブページ、動画の解析と外部ツールの呼び出しを1つのモデルで完結させます。これまでのシステムのように視覚モデルとテキスト生成モデルの間でデータをやり取りする必要がないため、文脈を失わずに複雑なタスクを実行できます。

同クラスのオープンモデルと比較して最大5倍のスループットを実現できた要因は、120BパラメータのMixture of Experts(MoE)構造にあります。推論時にアクティブになるパラメータは12Bにとどまるため、極めて高速に動作します。約26兆トークンの事前学習に加え、380万件のサンプルを用いた強化学習によってチューニングされています。

ローカル向けのBolt 74B-A9Bは、ネイティブな2ビット量子化を採用し、メモリフットプリントを24GBに抑えています。ウェブ調査やコードのデバッグといった複数手順のエージェント処理を、外部クラウドにデータを送ることなく手元で実行可能です。エージェント評価のPinchBenchで1位、BrowseCompで2位を記録しています。

動作要件と実際のパフォーマンス

Super VLをローカルで動かすにはハイエンド環境が必要です。アクティブパラメータは12Bですが、モデル全体のサイズは約75GBあり、DGXシステムやRTX PRO、サーバー向けのGPU環境が求められます。実測検証では毎秒600トークン以上の出力を記録しており、大量のリクエストを並列でさばく用途に特化しています。

一方でBolt 74B-A9Bは導入のハードルが低く、24GBのVRAMを備えたGeForce RTXグラフィックボードで動作します。llama.cpp、Ollama、LM Studio、Unsloth、vLLMといった主要な実行環境を幅広くサポートしています。さらに小型の4GB版であるBolt E4Bは10月23日に提供が開始される予定です。

重みデータ、トレーニングレシピ、そして40種類の視覚言語データセットはHugging FaceやModelScopeで公開されており、商用環境向けにはNVIDIA NIM経由でも提供されています。

なぜ重要か

社内データやプライバシーを守りながらエージェントを自動運転させたい開発者にとって、Bolt 74B-A9Bは試す価値が高い選択肢です。これまで24GBのVRAMでは実用的なエージェントを動かすのが困難でしたが、2ビット量子化により、ローカルPC上で完結する調査・コーディング環境が現実的な速度で手に入ります。

ただし、純粋な論理的知能には割り切りが必要です。外部レビュアーの検証では、深い思考を要するベンチマークにおいてQwen 3.8-27BやMiniMaxなどのモデルに及ばない場面も見られます。複雑な数学的推論を解かせるのには向きませんが、請求書の読み取りや定型レポートの作成、ツール連携といった日々の大量業務を低コストかつ高速に回す基盤としては、非常に合理的な仕上がりです。

情報源 (3)

  1. [1]
    blogs.nvidia.com(新しいタブで開きます)原文blogs.nvidia.com
  2. [2]
    developer.nvidia.com(新しいタブで開きます)報道developer.nvidia.com
  3. [3]
    youtube.com(新しいタブで開きます)報道youtube.com

毎日のAIピックアップ