NvidiaがNemotron Ultraを公開：DeepSeek R1の半分の規模で同等以上の性能

Llama-3.1-Nemotron-Ultra-253B-v1は、Nvidiaが公開した2530億パラメータのオープンソースLLMです。DeepSeek R1の半分未満のサイズでありながら、トップクラスの推論、コーディング、指示追従能力を発揮します。

システムプロンプトによって、一般的な出力と長考推論モードを切り替えられるのが特徴で、日常的なアシスタント業務から複雑なタスクまで柔軟に対応できます。

どのようにサイズを抑えたか

このモデルはゼロから学習させたものではなく、Metaの「Llama-3.1-405B-Instruct」をベースに大幅な再設計を施したものです。

Nvidiaはニューラルアーキテクチャ探索（NAS）を活用し、不要なアテンション層のスキップ、フィードフォワードネットワーク（FFN）の統合、可変圧縮比などを導入しました。この構造刷新により、出力を落とすことなくメモリ消費と計算負荷を抑え、単一の8基H100ノードに収まるサイズを実現しています。

その後、650億トークンの知識蒸留と、FineWebやDolmaなどを用いた880億トークンの継続事前学習を実施しました。

後学習段階では、数学、コード、ツール利用に関する教師あり微調整に加え、GRPO（Group Relative Policy Optimization）による強化学習を行うことで、推論モード時の思考力を大幅に鍛え上げています。

ベンチマーク結果と動作環境

推論モードを有効にすると性能が急上昇します。MATH500では標準モードの80.40%から97.00%へ、AIME25では16.67%から72.50%へ向上し、LiveCodeBenchのコードスコアも29.03%から66.31%へと倍増します。

6710億パラメータを持つDeepSeek R1との比較では、GPQAで76.01対71.5、IFEvalで89.45対83.3、LiveCodeBenchで66.31対65.9と、複数の主要タスクで上回りました。

ただし、高難度の数学競技テストであるAIME25では、79.8を記録したDeepSeek R1に一歩及ばず、72.50にとどまっています。

コンテキスト長は最大128kトークンに対応し、Nvidia HopperおよびB100環境でのBF16とFP8の動作が確認されています。重み、コード、後学習データはHugging Face上で完全公開されており、Transformers 4.48.3以上で動作します。

なぜ重要か

オンプレミスで高度な推論モデルを動かしたい開発者にとって、671Bの巨大なMoEモデルを維持するコストは大きな壁でした。単一の8基H100ノードで同等水準の推論とコード生成が動く Nemotron Ultra は、実用的な選択肢として非常に魅力的です。

既存のオープンモデルをアーキテクチャ再構築と後学習で徹底的に磨き直すというNvidiaのアプローチは極めて合理的であり、オープンソース界隈のハードウェア効率化競争を一段押し進めることになりそうです。