「重み空間プログラミング」：GPT-6 Astra が再学習なしでモデルの重みを直接書き換え

ソフトウェアのバグを修正するとき、開発者はソースコードを読みます。コンパイルされたバイナリの機械語を直接眺めて直そうとする人はいません。しかしディープラーニングの世界では、訓練済みのモデルは膨大な浮動小数点数の羅列、すなわち「重み」としてしか存在しません。これまで、数億個の数字を直感的に読み解き、直接書き換えて性能を上げるなど、人間には到底不可能な離れ業だと考えられてきました。

研究チームが公開した「重み空間プログラミング」は、OpenAI の GPT-6 Astra が勾配降下法や再学習ループを使わずに、ニューラルネットワークの重みを直接解釈し、書き換えることができることを示しました。特に注目を集めたのは、アリババの軽量言語モデル Qwen3.5-0.8B に対する実験です。Astra は全体のわずか 0.016% の重みを書き換えることで、MATH-500 ベンチマークの正解率を 7.9% から 48.1% へと 6 倍に跳ね上げ、指示追従スコア（IFEval）も 3 倍に改善させました。

一見すると AI による魔法の自己改造のように思えますが、実験の詳細を紐解くと、より現実的で精密なメカニズムが見えてきます。

数字の幾何構造を読み解く実験

研究チームはまず、数万パラメータ規模の小型ネットワークで実験を行いました。ツールの使用やフォワードパスの実行を禁止し、重みの生データをそのまま Astra のプロンプトに入力したところ、そのネットワークが『Breakout』などのどのゲームをプレイするために訓練されたものかを正しく言い当てました。また、入力層と出力層を意図的に取り除いた中間層だけのモデルを見せても、訓練言語を特定し、テキストを反復するインダクションヘッドをすべて特定することに成功しています。

さらに、ゲームルールを自然言語で渡すだけで、Astra はゼロから重みパラメータを生成し、1 億ステップ学習させた PPO 強化学習モデルを上回るスコアを叩き出しました。坂道でスタックしてしまう自動運転のトイモデルに対しても、わずか 3.5% の重みを書き換えて速度判定用の補助経路を組み込み、課題をクリアさせています。

大幅スコアアップの真相と業界の指摘

しかし、パラメータが 8 億個ある Qwen3.5 の実験になると、前提条件が大きく変化しています。自然言語処理エンジニアの Matthew Honnibal 氏らが指摘するように、Qwen の実験では重みを生テキストとして読ませたわけではなく、Python サンドボックス環境が与えられ、最大 50 バッチ分の試行実行が許可されていました。

また、エンジニアの Sean Goedecke 氏の分析によると、元の Qwen が数学テストで 7.9% しか取れなかったのは数学の知識が足りないからではなく、公式ドキュメントにも記載されていた「一定以上のトークン数で思考ループに陥りタイムアウトする」という既知の不具合が原因でした。Astra が行ったのは、ループが発生するテキストと正常なテキストの差分ベクトルを測定し、ループを引き起こす重みをピンポイントで削るという、人間のリサーチャーも用いるアブレーション手法です。つまり、眠っていた能力を解放したに過ぎず、同様のループ不具合を持たない Google の Gemma 3（270M）に対して同じ手法を試したところ、性能はまったく向上しませんでした。

なぜ重要か

私たちが注目すべきなのは、「AI が未踏の超人的能力を獲得した」という宣伝文句ではなく、最先端モデルが人間の熟練リバースエンジニアのように振る舞えるようになったという事実です。仮説を立て、コードを書いてテンソルを分析し、問題のあるニューロンを狙い撃ちして外科手術のように切除する作業を自律的にこなせる段階に来ています。これにより、モデルのアライメント調整や安全対策のパッチ当てにかかる再学習コストを大幅に削減できる可能性があります。

一方で、一般的な開発者がファインチューニングの完全な代替手段として期待するのはまだ時期尚早です。重みの直接書き換えはバイナリパッチと同じで、特定の明確なバグを取り除くには有効ですが、モデルに新しい知識をゼロから教え込むことはできません。自律的な自己進化の引き金と呼ぶにはまだ遠いものの、極めて優秀な「ニューラルネットワーク専用デバッガ」が誕生したと言えます。