Etched、Transformer専用チップ「Sohu」発表：H100比20倍の推論性能を主張

もしAI業界のデファクトスタンダードである「Transformer」が数年後に時代遅れになったら、このチップはただの砂粒になってしまいます。

それでも投資家たちは巨額の資金を投じました。設立から2年のAIチップスタートアップであるEtchedは、Primary Venture PartnersとPositive Sum Venturesが主導するシリーズAラウンドで1億2,000万ドルの資金調達を発表しました。彼らが開発しているのは、LLMの基盤であるTransformerモデルの推論に特化した専用チップ（ASIC）「Sohu」です。

アーキテクチャをシリコンに焼き付ける賭け

現在市場を独占しているNvidiaのGPUは、本来は何でもこなせる汎用プロセッサです。画像認識に使われる畳み込みニューラルネットワーク（CNN）も、新しい状態空間モデル（SSM）も柔軟に処理できます。

Etchedはこの汎用性こそが無駄を生んでいると主張します。同社COOのRobert Wachen氏は海外メディアの取材に対し、Transformerアーキテクチャを物理的にシリコンへ焼き付けることで、桁違いの性能向上が得られると語りました。同社によると、SohuはNvidiaのH100に対して最大20倍の推論性能を発揮すると主張しています。

発表された数字は驚異的です。Llama 70Bを実行した際に毎秒50万トークンを達成し、8基のSohuを搭載したサーバー1台で160台分のH100を置き換えることができるとしています。

この強みの背景にあるのが、超大規模なバッチ処理です。ChatGPTのようなサービスで大量のユーザーからのリクエストを同時に捌く際、既存のGPUはバッチサイズを32から64に拡大するだけでも性能が低下しがちです。しかしSohuなら、数千規模のバッチサイズでも性能低下を起こさずに処理できると同社は説明しています。

依然として残るメモリと製造の壁

ただし、これらの性能は現時点ではFPGAによるエミュレーション段階の主張に過ぎません。チップ自体のテープアウト（設計完了・製造委託）はまだ行われておらず、実チップの登場までは2年近くかかるとみられます。

また、推論処理で重要となるメモリ性能にも課題があります。Sohuは144GBのHBM3を搭載し、最大帯域幅は約4TB/sと推計されています。これはNvidiaのH200やBlackwell、AMDのMI300Xなどと比べると見劣りします。

バッチサイズを数千に引き上げれば、モデルのKVキャッシュだけで膨大なメモリ容量を消費します。8基構成のシステム全体で約1.1TBの容量にとどまるため、超巨大モデルを安定して運用できるかには懸念が残ります。

なぜ重要か

生成AIの普及において、最大の障壁となっているのが推論コストの爆発です。汎用GPUで何億回ものチャットクエリを捌き続けるのは、事業者にとって経済的に持続可能とは言えません。もしSohuの主張通りにスループットが劇的に改善されれば、大規模サービスを提供する企業にとって強力なコスト削減策になります。

一方で、このアプローチは極めてハイリスクな賭けでもあります。特定のアーキテクチャに最適化したASICは、モデル構造が変われば他の用途には一切使えません。AIモデルの進化スピードがこれほど速い中で、チップ完成までの約2年間、Transformerが王座に君臨し続けると信じ切れるかどうかが最大の焦点と言えます。