NVIDIAとHugging Faceが提携:DGX Cloudをプラットフォームに統合へ
NVIDIAとHugging Faceは、DGX CloudスーパーコンピューティングをHugging Face上に統合する提携を発表した。ノードあたり8基のH100またはA100を備えた「Training Cluster as a Service」を提供し、企業独自データによるモデル訓練をワンクリックで支援する。数か月以内に提供予定。
オープンソースの大規模言語モデルを活用しようとする際、最大の壁となるのが計算資源の確保とクラスタの構築です。どれほど優れた重みが公開されていても、自社データで本格的なファインチューニングを行うには膨大なGPUメモリと専門的なインフラ設定が欠かせません。
コンピュータグラフィックスの国際会議 SIGGRAPH において、NVIDIA と Hugging Face は戦略的パートナーシップを発表しました。NVIDIA の AI スーパーコンピューティング基盤「DGX Cloud」を、Hugging Face プラットフォームへ直接統合します。
これにより、数百万人にのぼる開発者が、Web 上の使い慣れた環境からワンクリックでマルチノードのスーパーコンピュータへ接続できるようになります。
ハブの中から直接立ち上がる超巨大クラスタ
この提携に基づき、Hugging Face は今後数か月以内に「Training Cluster as a Service(サービスとしてのトレーニングクラスタ)」という新機能を提供する予定です。
従来、オープンソースモデルを企業向けにカスタマイズする場合、モデルのダウンロードから別クラウド環境の立ち上げ、ネットワーク設定まで多大な手間がかかっていました。今回の連携により、Hugging Face 上でデータやモデルを選択し、そのままシームレスに学習クラスタを起動できるようになります。
用意されるハードウェア構成も極めて強力です。DGX Cloud の各インスタンスには、8 基の NVIDIA H100 または A100 80GB Tensor コア GPU が搭載されており、ノードあたり 640GB の GPU メモリを利用できます。
さらに、複数システム間を跨ぐ分散学習でも性能が落ちないよう、NVIDIA の低遅延・高性能ファブリックで接続されます。モデルの最適化やトラブルシューティングを支援する NVIDIA 専門家によるサポートが含まれている点も、企業にとっては大きな要素です。
現在、Hugging Face には 1 万 5000 以上の組織が参加し、25 万以上のモデルと 5 万以上のデータセットがホストされています。この膨大なオープンリソースと最上位の計算基盤が直結することになります。
なぜ重要か
独自データを活用したチャットボットや社内検索エンジンを作りたい企業にとって、インフラ構築に要する試行錯誤の時間を大幅に削減できる価値は極めて高いと言えます。モデルの選定から学習までが単一のプラットフォームで完結するため、MLOps の運用負荷は確実に下がります。
一方で、H100 や A100 を束ねた DGX Cloud は相応のコストがかかるため、主な対象は明確な予算を持つ企業層に限られると考えられます。個人の実験用途というよりは、本格的な商用モデル開発のための基盤です。
業界全体で見れば、NVIDIA のエコシステム戦略の巧妙さが際立っています。単にハードウェアを売るだけでなく、世界最大の AI 開発者コミュニティの作業動線に自社のクラウドサービスを直接組み込みました。
オープンソースの拠点である Hugging Face が実行基盤へと進化する中で、その背後を NVIDIA が固める構図ができあがりつつあります。開発者を自社アーキテクチャから離れさせないための、非常に強固な囲い込みの一手だと見受けられます。
情報源 (1)
- nvidianews.nvidia.com(新しいタブで開きます)原文nvidianews.nvidia.com