Subquadratic、12Mコンテキスト対応のLLM「SubQ」を発表

数百万語もの長大なドキュメントを従来の言語モデルに読み込ませると、計算コストは跳ね上がり、処理速度も大きく落ち込みます。

こうしたボトルネックを解消すべく、Subquadratic は新しい大規模言語モデル「SubQ」を発表しました。

必要な関連性だけに絞り込むスパース設計

SubQ の核となるのは、完全な劣二次スパースアテンション（SSA）と呼ばれる独自アーキテクチャです。

従来の Transformer は単語同士のあらゆる結びつきを計算するため、長文になるほど膨大な計算リソースを浪費していました。

SubQ は意味のある関係性のみを検出して焦点を当てることで、計算量を約 1000 分の 1 に削減したと説明しています。

同社によれば、コンテキストウィンドウは 1200 万トークンに達し、100 万トークン処理時の速度は FlashAttention 比で 52 倍、コストは Opus の 5% 未満に抑えられるとしています。

なぜ重要か

1200 万トークンもの入力を現実的な速度とコストで扱えるなら、巨大なソースコードベースや膨大な業務ログを前処理なしでそのまま処理できるようになります。

一方で、アテンションを間引くスパース手法には、長文から微細な事実を正確に拾い出す検索性や複雑な推論精度が落ちやすいという課題がつきまといます。

提示された数字は極めて魅力的ですが、実際の推論品質がどこまで維持されているか、第三者によるベンチマーク結果を見極める必要があります。