Cloudflare、エッジAIツール群を発表：従量課金GPUや低遅延推論を提供

生成AI機能をアプリに組み込もうとすると、開発者はすぐに面倒な現実に直面します。大手クラウドで高価なGPUインスタンスを立ち上げ、別のスタートアップのベクトルデータベースを契約し、さらに請求額を監視するためのツールを組み合わせる。これではコストもレイテンシも跳ね上がる一方です。

エッジネットワークを展開するCloudflareが、この複雑なツールチェーンを一気に引き受ける新サービスを発表しました。提供されるのは、Workers AI、Vectorize、AI Gatewayの3つです。

エッジで動くサーバーレスGPU

中核となるWorkers AIは、ユーザーに近い場所にあるGPUリソースを従量課金制で利用できる推論プラットフォームです。常時起動の仮想マシンを借りる必要がなく、リクエストがあった瞬間だけGPUを稼働させることができます。

マイクロソフトが主導する機械学習フォーマットONNXを活用し、レイテンシや帯域幅、データ保護要件に応じて最適なエッジ拠点でモデルを処理します。MetaのLlama 2をはじめ、音声認識、画像分類、感情分析などのモデルをカタログから選択可能です。推論に使用したプロンプトなどのデータはモデル学習に使われず、指定したリージョン内にとどまります。

パートナーシップも強力です。Hugging FaceはWorkers AI向けにモデルを最適化し、同社にとって初のサーバーレスGPUデプロイパートナーとなりました。Databricksも機械学習基盤MLflowを通じてWorkers AIと連携します。

同時に登場したVectorizeは、テキスト検索やレコメンドの基盤となるベクトルデータを格納するデータベースです。エッジ上で動くため、OpenAIやWorkers AIで生成した埋め込みデータのクエリを高速化できます。AI GatewayはAI利用の監視ダッシュボードで、コストやリクエスト数の可視化に加え、定型的な質問への回答をキャッシュして不要なモデル呼び出しを削減する機能を提供します。

なぜ重要か

今回の発表は、AIアプリ開発における「インフラの分断と高コスト」という一番の痛所を突いています。

開発者にとっての最大のメリットは、運用の手離れの良さです。これまではアクセスが少なくてもGPUを常時借りっぱなしにして無駄な費用を払うケースが目立ちましたが、サーバーレスGPUと応答キャッシュを組み合わせることで、開発初期のコストを大幅に抑制できます。データが国外に出ないため、各国の法規制をクリアしやすい点も実務的です。

業界全体で見れば、AWSやAzure、Google Cloudといった巨大集中型クラウドに対する強力なカウンターになります。モデルの学習にはメガデータセンターが必要ですが、推論処理はユーザーの近くで行う方が明らかに速く、データ転送コストも抑えられます。Cloudflareは自社のグローバルネットワークを活かし、推論の「ラストワンマイル」を独占しようとしています。

同社CEOのMatthew Prince氏は、使った計算資源だけを支払う仕組みの先進性をアピールしていますが、GPTCacheなど類似の仕組みはすでに存在します。それでも、GPU、ベクトルDB、監視・キャッシュ機能をひとつの管理画面にまとめあげた完成度は高く、現在クラウドの維持費に頭を抱えているチームなら、真っ先に試す価値がある選択肢と言えます。