AIが過去の記録で「夢」を見て自己改善する「Dream-RSI」が登場

AIの「自己改善」と聞くと、モデルが自身の重みを書き換えながら賢くなっていくSFのような光景を想像しがちです。しかし、Google、Google DeepMind、メリーランド大学、バージニア大学の研究チームが公開した新プロジェクトは、まったく異なる実用的なアプローチをとっています。

9月14日に論文が公開されたプロジェクトの名は「Dream-RSI」です。驚くべきことに、基底となるAIモデルのパラメータやアーキテクチャには一切手を加えません。進化させるのはモデルそのものではなく、AIエージェントが未知の課題をどう探索するかという「戦略」です。

過去の失敗ログを「無料のシミュレータ」に変える

GPUカーネルの最適化や数学的探索といった長期タスクでは、AIは何千回もの試行錯誤を繰り返します。しかし、探索ルールを固定すると無駄な枝葉に計算リソースを浪費し続け、一方で探索方針をオンラインで最適化しようとすると、評価ごとにフル実行が必要になり莫大なコストがかかります。

そこでDream-RSIが着目したのが、過去の探索で記録された「発見木」でした。ここにはAIが下した分岐の判断と、実際にコードを実行した結果がすべて構造化されて残っています。これは不完全な予測モデルではなく、現実に通過した空間を100%正確に再現するシミュレータそのものです。

エージェントは過去の木の上で「夢を見る」ように、何千もの新しい探索方針を脳内シミュレーションします。もしあの時別の枝を選んでいたらどうなっていたかを、実行コストゼロで検証するわけです。そして、最も優秀だった戦略だけを現実の実行環境に送り出します。

経験が増えるほど世界が広がる再帰ループ

選ばれた新戦略が実際にタスクへ挑むと、以前の戦略では到達できなかった新しい領域へ進み、新たな発見木を持ち帰ります。これがシミュレーション用のプールに加わり、エージェントが夢を見られる「世界」がまた1つ増えます。

このループを繰り返すことで探索力は加速度的に向上します。4領域・9つのタスクで実施されたベンチマークでは、従来の半分以下の試行回数で同等以上の性能を達成し、特にGPUカーネル工学などで高い成果を示しました。

なぜ重要か

開発者にとって、高価なフロンティアモデルの重み追加学習や長時間の強化学習に頼らず、外付けの軽量オーケストレーション層だけで探索効率を倍増できる点は極めて魅力的です。膨大な推論コストを払っている現場ほど、すぐに導入を検討する価値があります。

業界全体にとっても、エージェント改善のボトルネックだった「メタレベルの探索評価コスト」を歴史データの再利用で解決した意義は小さくありません。これまで単なるログとして捨てられていた実行履歴が、最高精度のオフライン評価基盤に化けることを証明しました。

この手法の巧みな点は、不確実な世界モデルを学習させるのではなく、過去の確定した実行結果をそのままシミュレータとして割り切ったリアリズムにあります。ただし弱点も明確です。エージェントが夢を見られる範囲は、過去に実際に足を踏み入れた場所の組み合わせに限られます。最初の探索方針が完全に的外れだった場合、その閉じた世界の中で局所最適に陥るリスクは依然として残されています。