TaalasがHC1発表：Llamaをチップに直接焼き込み秒間1.7万トークン達成

AI との対話で、文字がカーソルの後ろからパラパラと現れるのをじっと待つ時間は、もうすぐ過去のものになるかもしれません。

AI チップ開発の Taalas は、Llama 3.1 8B モデルをハードウェアに直接焼き込んだ専用アクセラレータ「HC1」を発表しました。ソフトウェアとして存在するニューラルネットワークをシリコンそのものに直接実装するという、極めて大胆なアプローチを採用しています。

公表された性能は圧倒的です。推論速度は最大で毎秒 17,000 トークンに達し、NVIDIA の主力チップ B200 の約 40 倍、Cerebras の約 10 倍に達するとされています。さらに、製造コストは 20 分の 1、消費電力は 10 分の 1 に抑えられていると主張しています。

メモリと演算の境界線をなくす

従来の GPU アーキテクチャで大規模言語モデルを動かす際、最大のボトルネックとなるのはメモリ帯域幅です。演算ユニットとメモリの間でデータを絶え間なく往復させる必要があり、それが遅延と発熱の原因になっていました。

Taalas は DRAM レベルの高密度でメモリと演算を 1 つのチップ上に統合しました。TSMC の 6nm プロセスを採用し、ダイサイズは 815 平方ミリメートル、トランジスタ数は 530 億個に達します。なお、このチップは 2.5kW のサーバースペックを想定しており、モバイル機器向けではありません。

思考の速度とトレードオフ

公開されているデモでは、単純なプロンプトに対して毎秒約 20,000 トークンを記録し、通常の対話でも 15,000 から 16,000 トークン前後を維持します。14 章構成の書籍アウトラインをわずか 0.064 秒で生成し終える速度です。

ただし、その代償として柔軟性は大きく犠牲になります。回路そのものが Llama 3.1 8B であるため、DeepSeek や Qwen といった他のモデルに差し替えて動かすことはできません。コンテキスト長の変更や LoRA によるファインチューニングには対応しているものの、ベースモデルは完全に固定されます。また、8B パラメータモデル特有の回答精度の限界もそのまま残ります。

同社は第 2 四半期に推論特化型モデルを焼き込んだ HC1 バリアントを発表し、年末には第 2 世代プラットフォーム HC2 の展開を計画しています。

なぜ重要か

音声対話システムやリアルタイム制御を必要とする開発者にとって、秒間数万トークンという出力速度は体験を根本から変える可能性を秘めています。聞き手の発話が終わった瞬間に長文の応答が完了していれば、人間同士の会話と変わらない滑らかさを実現できます。

半導体業界の視点で見ると、NVIDIA が築いた汎用 GPU と CUDA の牙城に対し、最も極端な ASIC 特化の形で挑む構図になります。ソフトウェアの進化が速い現代において、モデルをシリコンに固定化することは陳腐化のリスクと背中合わせです。

それでも私たちは、このアプローチが特定用途において極めて強力な武器になると考えています。軽量モデルのアーキテクチャが一定の成熟を見せている現在、高頻度で決まった処理を回し続ける大規模サービスにおいては、この圧倒的な低コストと省電力性は汎用サーバーを置き換える十分な動機になります。