NVIDIA、検索モデル群「Nemotron 3 Embed」オープンソース公開　8B版がRTEB首位に

NVIDIAの「Nemotron 3 Embed」は、実運用向けのRAGやAIエージェント検索に特化した、商用利用可能なオープンソース埋め込みモデル群だ。RTEB多言語ベンチマークで首位を獲得した8Bフラッグシップと、レイテンシやコストを抑えたい環境向けの1.14B軽量モデル2種の計3モデルで構成されている。

マルチステップのエージェントワークフローでは、検索精度が低いと無関係な情報が混入し、再検索や不要な推論が頻発してトークン予算を浪費してしまう。今回のモデル群は、まさにこのエージェント特有の無駄を削ぎ落とすために設計された。

何ができるか

全モデルが32kトークンのコンテキスト長に対応しており、長文ドキュメントや複数ファイルにまたがるコードベース、長期のエージェント対話ログを切り詰めることなく処理できる。

入力にはMeanプーリングを採用し、テキスト先頭にquery: またはdocument: という接頭辞を付与して利用する。多言語テキストとプログラミングコードの検索を幅広くサポートしているのが特徴だ。

性能面では、Nemotron-3-Embed-8B-BF16がRTEBで78.5%、MMTEB Retrievalで75.5%を記録し、総合首位に立った。軽量な1.14B BF16モデルもRTEBで72.4%を達成し、前世代の1Bモデルと比較してエラー率を27%削減している。

検索エージェントを用いた検証では、精度の高い検索結果を初期段階で提示できるため、エージェントの思考ターン数と消費トークン総額を明確に抑えられることが確認されている。

どのように作られたか

ゼロから小型モデルを学習するのではなく、実績のある基盤モデルを再構成して構築された。

8Bフラッグシップは、Ministral-3-8B-Instruct-2512をベースに因果的デコーダを双方向エンコーダへ改修。対照学習と法務、金融、医療といった専門領域データによるファインチューニングを経て開発された。

1.14Bモデルの開発には、緻密な構造化剪定と蒸留が用いられている。Ministral-3-3Bベースのモデルに対し、NVIDIA ModelOptのニューラルアーキテクチャ探索を用いて2Bサイズへ剪定した上で、8Bモデルからの蒸留を実施した。

この剪定と蒸留のプロセスをもう一度繰り返すことで、最終的に1.14Bサイズに圧縮。段階的な学習スケジュールによりコンテキスト長を拡張し、長文入力でも高い識別能力を維持させた。

さらに、NVIDIA Blackwellアーキテクチャに特化した1B-NVFP4版も用意された。量子化対応蒸留（QAD）により線形層を4ビット化し、BF16比で最大2倍のスループットを実現しながら、99%以上の検索精度を保っている。

導入とハードウェア要件

モデルの重み、データセット、学習レシピはHugging Face上で公開されており、商用利用が可能だ。

推論環境としてはvLLMに対応しているほか、RustベースのNVIDIA NIMマイクロサービスとしても即日展開できる。独自データに適合させたい開発者向けには、NVIDIA NeMo AutoModelの微調整レシピも提供されている。

最高精度を重視するエンタープライズ検索なら一般的なGPUで8B-BF16を動かすのが適している。一方、レイテンシを極限まで削りたい環境では1.14B-BF16がCPUや普及型GPUでも軽快に動作する。BlackwellやGB200を保有している場合は、NVFP4版を選ぶことでメモリ消費を最小限に抑えつつ大量リクエストを処理できる。

なぜ重要か

社内RAGやコード検索、自律型エージェントを構築している開発者なら、すぐに試す価値がある。エージェント全体のコスト削減を狙う場合、高価な生成モデルを切り替えるより、埋め込み層の精度を上げて無駄な推論ループを減らすほうが確実で安上がりだからだ。

NVIDIAの展開手法は極めて実用的だと評価できる。8Bでベンチマークの最高精度を示しつつ、実運用のトラフィックを捌く1Bモデルを用意し、NVFP4によってBlackwell基盤の強みを引き出している。Blackwell環境がない場合でも、1.14B BF16モデル単体で日常の開発現場に十分な恩恵をもたらすはずだ。