本文へスキップ
IFAI

業界動向

Red HatがNeural Magicの買収を発表、vLLM軸に推論基盤を強化へ

公開 拡散指数 41

Red HatはAI推論最適化ソフトウェアを手がけるNeural Magicを買収する最終契約を締結したと発表した。MIT発の同社はオープンソースの推論エンジン「vLLM」の開発をリードしており、ハイブリッドクラウドでのLLM展開基盤を強化する狙いがある。

Red HatがNeural Magicの買収を発表、vLLM軸に推論基盤を強化へ
画像:redhat.com

オープンソース大手のRed Hatは生成AIの推論ワークロード高速化を手がける米スタートアップNeural Magicを買収する正式契約を締結したと発表しました。買収額は非公開で、規制当局の承認などを経て完了する予定です。

MIT発、vLLMの中核を担う精鋭チーム

Neural Magicは2018年にマサチューセッツ工科大学(MIT)からスピンアウトした企業で、深層学習の推論パフォーマンス設計を強みとしています。

現在、オープンソースの大規模言語モデル(LLM)運用において事実上の標準となっているのが、カリフォルニア大学バークレー校発祥の推論エンジン「vLLM」です。Neural MagicはこのvLLMプロジェクトで主導的な役割を果たしてきました。

同社はさらに、モデルのスパース化や量子化を行う最適化ライブラリ「LLM Compressor」や、最適化済みモデルのリポジトリも開発・提供しています。vLLMはNVIDIAのGPUだけでなく、AMD、AWS Neuron、Google TPU、Intel Gaudi、一般的なx86 CPUまで幅広く対応している点が特徴です。

ハイブリッドクラウド向け推論基盤の完成

Red Hatはこれまで、IBMのオープンモデル群を活用する「RHEL AI」や、Kubernetes環境向けの「Red Hat OpenShift AI」、共同ファインチューニングを行う「InstructLab」などを展開してきました。

今回の買収により、10億から4050億パラメータ規模のオープンモデルを、オンプレミスや各種パブリッククラウド、エッジ環境に低コストで配備できる推論スタックが手に入ります。

Red Hatの最高経営責任者(CEO)Matt Hicks氏は、オープンソースのRed Hatにとどまらず、AIの世界でもRed Hatの地位を確立したいとコメントしています。

なぜ重要か

社内データを外部に出せない企業にとって、自社環境でLLMを動かすハードルはこれまで非常に高いものでした。専用の最適化エンジニアを雇うことなく、OpenShiftやRHELの環境下で高効率な推論基盤が手に入る価値は実務上きわめて大きいです。

業界全体で見れば、クラウドAPIで市場を握るプロプライエタリなAIベンダーに対する、強力な対抗軸になります。金融や医療など規制の厳しい現場では、データを手元に置いたまま自前でモデルを運用したいという需要が根強く存在します。

Red Hatの立ち回りは非常に現実的です。自社で最先端モデルの開発競争に挑むのではなく、誰もが必要とする推論パイプラインを標準化して企業に届けるインフラ路線に徹しています。

一方で、今後の課題はvLLMコミュニティの中立性維持にあります。特定ベンダーに縛られないオープンな開発体制を保てるかどうかが、利用者の信頼を維持する鍵になると考えられます。

情報源 (1)

  1. [1]
    redhat.com(新しいタブで開きます)原文redhat.com

毎日のAIピックアップ