毎秒247トークンの衝撃　AIチップ企業Groqの「LPU」が話題に

ここ数日、SNSで流れてくるAIのデモ動画を見て、再生速度がバグったのかと思った人も多いはずです。

プロンプトを入力した瞬間に、情報ソースの引用まで付いた数百語の回答が一画面分まるごと吐き出されます。CNNの生放送では、キャスターが地球の反対側にいるAIチャットボットと、タイムラグなしの滑らかな音声会話を披露しました。

ネット上で話題をさらったこの正体は、AI半導体スタートアップのGroqです。イーロン・マスク氏率いるxAIのチャットボット「Grok」と発音は同じですが、中身はまったくの別物です。

推論特化チップ「LPU」の実力

GroqはChatGPTやGeminiのような対話モデルそのものを作っているわけではありません。既存の大規模言語モデルを驚異的な速さで動かすための「推論エンジン」であり、ハードウェアの会社です。

業界標準であるNvidiaのGPUに対抗し、GroqはLPU（Language Processing Unit）と呼ぶ独自チップを開発しました。同社を率いるジョナサン・ロスCEOは、かつてGoogleでAI学習用チップの開発を主導した人物です。ロス氏によると、LPUは大規模言語モデルの推論時にGPUやCPUが直面する2大ボトルネック、計算密度とメモリ帯域幅を克服するよう設計されています。

先週、第三者機関のArtificial Analysisが公開したテスト結果もその威力を裏付けています。マイクロソフトの処理能力が毎秒18トークンだったのに対し、Groqは毎秒247トークンを記録しました。単純計算で、モデルをGroq上で動かせば13倍以上高速化することになります。

ちなみに名前の由来は、1961年のSF小説『異星の客』に登場する「深く直感的に理解する」を意味する言葉です。ロス氏は、マスク氏がGrokを発表した直後、自社が2016年から商標を保有していることをブログでユーモラスに釘を刺していました。

なぜ重要か

現在のAIチャットボットが抱える最大の弱点は、タイピングを待たされるような遅延です。GoogleがGeminiの発表時にリアルタイム対話風の演出をして物議を醸しましたが、Groqの処理速度があれば、あの演出通りのタイムラグなしの音声対話が本当に実現できます。

開発者やユーザーにとって、応答の瞬発力は体験の質を根本から変えます。同時通訳や電話応対エージェントなど、これまでラグのせいで実用化が難しかった領域が一気に現実味を帯びてきます。Groqの公式サイトに行けば、誰でもその爆速ぶりをブラウザ上で試すことができます。

懸念点があるとすれば、スケーラビリティの課題です。小規模なモデルで驚異的な速度を出せても、NvidiaのGPUやGoogleのTPUのように、超巨大なモデルを大規模クラスタで安定して動かせるかどうかはまだ実証されていません。それでも、生成AIのコストと速度に世界中が頭を抱える中、推論特化というアプローチでこれだけの数字を見せつけた意義は極めて大きいと私たちは考えます。