NVIDIAがTensorRT-LLMを公開：H100推論性能が最大8倍に向上

TensorRT-LLMは、大規模言語モデル（LLM）の推論を大幅に高速化し、運用コストを削減するためにNVIDIAが公開したオープンソースライブラリだ。複雑な並列処理やメモリ最適化をまとめ上げ、開発者が低レイヤーのCUDAやC++を書くことなく、Python API経由でGPU性能を最大限に引き出せるように設計されている。

何ができるのか

LLMの本格運用において、推論コストとメモリ帯域の消費は最大の課題だ。TensorRT-LLMはこのボトルネックを解消し、スループットの飛躍的な向上とデータセンター費用の削減を実現する。

標準的なCNN/Daily Mailデータセットを用いた要約タスクのベンチマークにおいて、FP8精度と動的バッチ処理を組み合わせたH100 GPU環境では、A100のPyTorch実行環境と比べて最大8倍のスループットを記録した。Metaの人気モデルLlama 2においても、A100比で4.6倍の推論高速化を達成している。

この性能向上は直接コスト削減につながる。GPT-J 6Bのようなモデルでは、A100環境と比較して総所有コスト（TCO）が5.3分の1、消費電力が5.6分の1に削減された。70Bパラメータを持つLlama 2の大規模構成でも、TCOは3分の1、消費電力は3.2分の1に抑えられる。

対応モデルも幅広く、Llama 2をはじめ、GPT-2、GPT-3、Falcon、Mosaic MPT、BLOOMなど代表的なオープンモデルを網羅している。

高速化の仕組み

これまで70Bクラスのモデルを複数GPUで動かすには、手作業で重みを分割し通信を制御する高度な実装が必要だった。TensorRT-LLMはテンソル並列を標準搭載し、NVLinkで接続された複数GPUやマルチノード間でモデルの自動分割実行を可能にしている。

もう一つの目玉が「in-flight batching」と呼ばれる動的バッチスケジューリングだ。LLMの出力トークン数はリクエストごとに大きく異なるため、従来のバッチ処理では完了の遅いリクエストに引きずられてGPUがアイドル状態になりがちだった。TensorRT-LLMは生成ステップごとに終了したリクエストを即座に解放し、新たなリクエストを順次投入することで、H100上の実効スループットを最低でも倍増させる。

さらに、HopperアーキテクチャのTransformer Engineを活用したFP8量子化にも対応した。INT8やINT4と異なり、精度劣化を抑えつつメモリ使用量を半減させることができる。FlashAttentionやPagedAttentionといった最新のカーネルフュージョンも組み込まれている。

Databricksのエンジニアリング担当副社長であるNaveen Rao氏は、MosaicMLの推論基盤への統合が極めて容易であり、そのコスト削減効果を顧客へ直接還元できていると評価している。

導入方法と動作環境

ハードウェアとしては、NVIDIAのAmpere、Ada Lovelace、HopperアーキテクチャのGPUをサポートする。

本プロジェクトはGitHubの「NVIDIA/TensorRT-LLM」リポジトリにてオープンソースとして公開されているほか、エンタープライズ向けのNVIDIA NeMoフレームワークにも統合されている。Python APIを通じて手軽にモデル定義や最適化を行えるため、手元の環境ですぐに検証可能だ。

なぜ重要か

私たちは、TensorRT-LLMが企業によるLLM自社運用の参入障壁を劇的に引き下げたと見ている。これまで高度な専任エンジニアを抱える大手テック企業しか行えなかった最適化が、オープンソースのライブラリとして誰でも使えるようになったからだ。

業界全体で見れば、NVIDIAはハードウェアの優位性だけでなく、ソフトウェアスタックの完成度によって競合他社に対する防壁を一段と強固にしたと言える。現在A100やH100を用いてLLMの推論サービスを運用しているチームであれば、即座に検証を始める価値がある。