Sakana AIが「Transformer²」発表：脳のように重みを自己適応、LoRAを凌駕

タコが周囲のサンゴ礁に合わせて瞬時に体色を変えたり、人間の脳が損傷後に神経回路を再編して機能を回復させたりするように、生物は常に環境へ適応しています。しかし現代の大規模言語モデルは、一度学習が終わるとパラメータが固定され、どんな問題にも全く同じ状態で立ち向かわなければなりませんでした。

東京を拠点とする Sakana AI は、この常識を覆す新しい研究成果として Transformer² を発表しました。入力されたタスクに応じて、推論時にモデル自身の重みをリアルタイムで動的に調整する自己適応型システムです。

脳の外科手術と音量つまみ

言語モデルの知識は膨大な重み行列の中に保存されています。Sakana AI はこの構造を詳細に分解するため、線形代数の手法である特異値分解を採用しました。これは言わば、モデルの脳に外科手術を施し、数学、言語理解、推論といった能力ごとの経路に切り分けるような作業です。

分解した各要素を制御するために、研究チームは強化学習を用いる特異値ファインチューニングという手法を開発しました。各タスクに特化した微小なベクトルを学習させ、必要な神経経路の信号を強め、不要な信号を抑え込みます。

例えば数学の問題を解くときは、数学関連の成分のつまみを最大まで回し、関係のない言語処理のつまみを絞ります。強化学習で学習させるため、正解データが完璧に揃っていなくても最適化でき、追加されるパラメータ数は従来の LoRA と比べてもごくわずかで済みます。

二段階の推論と意外な組み合わせ

実際の動作では、二段階の推論プロセスを踏みます。最初のステップで入力されたプロンプトやタスクの種類を分析し、次のステップで適切なベクトルを組み合わせて重みを調整し、最終的な回答を出力します。

タスクの判別には、プロンプトによる分類、専用の分類器、そして少数のサンプルから複数のベクトルを重み付けして合成する手法の三つが用意されています。

研究チームが Llama と Mistral を用いて数学、コード生成、論理推論、視覚応答などのベンチマークで検証したところ、テキストタスク全般で LoRA を上回る精度を達成しました。

興味深いのは、難度の高い数学タスクである MATH に挑んだときの挙動です。モデルは数学専用の調整ベクトルだけに頼るのではなく、プログラミングや論理推論のベクトルを自然に組み合わせて回答を導き出しました。さらに、Llama で学習したベクトルを Mistral に移植しても性能が向上するという、モデル間の知識共有の可能性も確認されています。

なぜ重要か

開発者にとって、今回の手法はモデルの特化にかかるコストを劇的に下げる選択肢になると私たちは考えます。複数のタスクに対応するために巨大な LoRA アダプタを切り替えたりメモリを圧迫させたりする代わりに、極小のベクトルでモデルを即座に変身させられる点は実用的です。

業界全体にとっても、モデルをただ巨大化させて静的な知識を詰め込む競争から、推論時に動的に計算能力を最適化する適応型知能へのシフトを後押しする成果と言えます。基礎モデルが単なる固まったデータではなく、生き物のように柔軟に形を変える方向性を示しています。

一方で課題となるのは推論にかかるレイテンシです。一度タスクを判別してから重みを変更して再推論する二段階構造は、リアルタイム性が強く求められるチャットボットなどの用途では応答速度の低下を招く懸念があります。また、Llama と Mistral は基本構造が似ているからこそベクトルの共有が成功した可能性が高く、全く異なるアーキテクチャ間でどこまで汎用的に機能するかは今後の検証が必要です。