AMD、初の小型言語モデル「AMD-135M」を発表：投機的デコードで推論を高速化

大規模言語モデルのパラメータ数が肥大化し続ける中、AMD はあえて真逆の方向に舵を切りました。同社初となる小型言語モデル「AMD-135M」を発表したのです。

このモデルは Llama ファミリーに属し、企業のプライベート環境での運用を想定して開発されました。AMD は先ごろ欧州の AI 企業 Silo AI の買収を発表していますが、各国の承認待ちの段階であるため、今回のモデルは AMD 独自主導で開発されたものとみられています。

大型モデルの「下書き」を担当する技術

AMD-135M の最大の特徴は、推測デコーディングに対応している点です。

通常の言語モデルは 1 トークンずつ順番に文字を生成するため、待ち時間が長くなります。そこで役立つのが推測デコーディングです。小型のドラフトモデルである AMD-135M が先に複数の候補トークンをまとめて生成し、背後の大型モデルが一括で検証や修正を行います。並列で処理できるため生成速度が大幅に向上しますが、データのやり取りが増えるため消費電力が増加する側面もあります。

提供されるのは 2 種類です。基本モデルの AMD-Llama-135M は、6700 億トークンの一般的なデータを使ってゼロから学習されました。8 基の AMD Instinct MI250 を搭載したノード 4 台を使い、わずか 6 日間で事前学習を終えています。

もうひとつの AMD-Llama-135M-code は、さらに 200 億トークンのプログラミングデータを追加して 4 日間でファインチューニングされたコード特化型です。AMD 社内でのベンチマークテストにおいて、両バージョンとも良好な性能を示したと報告されています。

なぜ重要か

私たちは、AMD が単なるチップ供給元から脱却し、ソフトウェアを含めた総合提案力をアピールし始めた点に注目しています。

企業が自社サーバーで大規模モデルを運用する際、最大の悩みとなるのが推論の遅さとコストです。135M という極小サイズのモデルはリソースをほとんど消費しないため、既存の大規模モデルにアドオンする形で推論を高速化できる現実的な選択肢になります。

業界の視点では、圧倒的なシェアを持つ Nvidia に対して、推論領域のコスト効率で対抗しようとする姿勢が伺えます。自社チップの Instinct シリーズを使い、自社でモデルを事前学習して見せたことは、ROCm を中心とするソフトウェアスタックの実用性を証明する格好のデモと言えます。

ただし、推測デコーディングは小型モデルの予測精度が低ければ、かえって無駄な検証処理と電力を消費するリスクを抱えています。さらに、今回の検証データは前世代の MI250 で計測されたものです。現行の MI300X や今後登場する MI325X でどこまで実力を引き出せるのか、実際のビジネス現場での検証が待たれるところです。