AMDとHugging Faceが提携　CPU・GPUでのAIモデル実行を高速化

ディープラーニングの世界では長年、ハードウェアの選択肢が極めて限られており、Nvidia製GPUの高騰と供給不足が開発者たちの大きな頭痛の種となっていました。

サンフランシスコで開催されたAMDの「Data Center and AI Technology Premiere」において、Hugging FaceのCEOであるClement Delangue氏が登壇し、AMDがHugging Faceのハードウェアパートナープログラムに正式参画したことを発表しました。

両社はAMDのCPUおよびGPU上でTransformerモデルの性能を最大限に引き出し、AIコミュニティに優れた費用対効果を持つ新たな選択肢を提供することを目指します。

InstinctからRyzenまで、幅広いハードウェアをカバー

今回の最適化はデータセンター向け製品だけにとどまらず、個人の開発環境まで広く視野に入れています。

GPU分野では、まずエンタープライズ向けのInstinct MI2xxおよびMI3xxファミリーから連携を開始し、その後コンシューマー向けのRadeon Navi3xシリーズへと拡大する予定です。AMDが公表した初期テスト結果によると、MI250は競合製品と比較してBERT-Largeの学習で1.2倍、GPT2-Largeで1.4倍の高速化を記録したといいます。

一方のCPU分野でも、サーバー向けのEPYCとクライアント向けのRyzenプロセッサの両方で推論の最適化を進めます。モデル量子化技術と組み合わせることで、CPU単体でも実用的なTransformer推論を可能にする狙いです。

さらに、省電力性能に優れたAIアクセラレーター「Alveo V70」のサポートも進められます。

ROCmを標準統合、主要モデルがコード変更なしで動作へ

どれだけハードウェアが強力でも、ソフトウェア環境の導入でつまずけば開発者には使われません。

今回の取り組みの核心は、AMDのソフトウェア開発キット「ROCm SDK」を、Hugging Faceの代名詞であるtransformersライブラリなどのオープンソースツール群に直接統合することです。

サポート対象にはBERTやCLIP、Wav2Vec2といった基礎的なモデルだけでなく、LLaMAやStarCoder、BLOOM、OPTといった昨今の大規模生成AIモデルが数多く含まれます。PyTorch、TensorFlow、ONNX Runtimeの各フレームワークで動作検証が行われる予定です。

将来的にはAMD環境に特化したOptimumライブラリの提供も予定されており、開発者はコードをほとんど書き換えることなく、AMD環境の性能を引き出せるようになります。

なぜ重要か

AI開発現場におけるNvidiaの一強体制は、インフラ費用の高騰と調達難という深刻な歪みを生み出しています。開発者やスタートアップにとって、代替となるハードウェアの台頭は長年の悲願でした。

AMDがHugging Faceと直接手を組んだのは非常に賢明な判断と言えます。開発者に新しいツールを学ばせるのではなく、すでに誰もが使っているtransformersライブラリの内側を最適化することで、参入障壁を劇的に下げられるからです。

一方で、AMDのROCmはこれまで環境構築の煩雑さや不具合の多さがコミュニティで指摘されてきました。今回の統合がどれだけトラブルなく動作するか、安定性の担保が今後の成否を分けます。

私たちは、この提携がNvidiaのソフトウェア的優位性を切り崩す実質的な第一歩になると見ています。本格的な価格競争が起きれば、AI業界全体のインフラコスト引き下げに大きく貢献するはずです。