MIT、AIが追加学習なしで他モデルの重みを直接書き換える研究を発表

何千万個ものランダムに見える浮動小数点数のリストを渡され、そのニューラルネットワークがどんなゲームをプレイするのか当てろと言われたら、どんな人間でも不可能だと答えるだろう。

しかし最先端の大規模言語モデルは、すでにその数字の意味を理解し、直接「脳外科手術」を行える段階に入りつつある。

学習をスキップし、重みを直接書き換える

MITの研究チームが発表した論文によると、OpenAIのGPT-6 Astraは勾配降下法や再学習を一切使わず、ニューラルネットワークの連続的な重みを直接読み取り、書き換えることができるという。研究チームはこの手法を「重み空間プログラミング（Weight-Space Programming）」と呼んでいる。

通常、ニューラルネットワークの重みは膨大なデータと最適化アルゴリズムを用いた訓練によってしか調整できない。人間には数値の羅列の意味が解読できないからだ。

ところがAstraは、入力された生の重みデータのパターンから、そのネットワークが何を学習したかを言い当ててみせた。強化学習で訓練された4つのゲーム用ネットワークの重みを見せたところ、選択肢を与えられていないにもかかわらず、Breakout（ブロック崩し）のパドルに相当する重みの集中などを手がかりに、すべてのゲーム名を正確に特定した。

さらにAstraは、外部環境からのフィードバックなしに重みをゼロから直接記述し、1億ステップ学習させたモデルを上回るゲームプレイネットワークを作成することにも成功した。

わずか0.016%の修正で数学スコアが跳ね上がる

この能力は、実際の言語モデルの欠陥修復でも実証された。

アリババの小型モデル「Qwen3.5-0.8B」は、推論ループに陥る持病を抱えており、MATH-500ベンチマークで7.9%という低いスコアにとどまっていた。Astraはその原因となっている重み部分を特定し、全体のわずか0.016%の重みをネイティブに書き換えた。

この局所的な修正だけで、Qwenの数学スコアは一気に48.1%へと急上昇し、指示追従を測るIFEvalスコアも3倍に改善した。

ただし、現時点での限界もある。同じ手法をGoogleの小型モデルGemma 3に試したところ、スコアはほとんど動かなかった。GemmaにはQwenのような単一で明確なバグが存在しなかったためで、現在のところは明確な異常箇所の外科手術にとどまるようだ。

なぜ重要か

この研究は、ディープラーニングにおける「重みは解釈不能なブラックボックスである」という前提を覆しつつある。

これまで人間は、Adamなどのアルゴリズムを通じて間接的にしか重みを更新できなかった。しかし先端モデルが重み空間のロジックを直接推論できるようになれば、最適化のあり方は根本から変わる。

開発者にとって、モデルの微調整やバグ修正のために高価な計算資源を確保し、何日も再学習を回す必要がなくなるかもしれない。フロンティアモデルに「パッチ」を当ててもらうだけで済む世界が現実味を帯びてきた。

一方で、業界全体にとっては自己改善（Self-improvement）という未知の領域への急接近を意味する。AIが自らや他モデルの重みを意図的に書き換え始めれば、これまでの安全ガードレールやアライメント機構が容易にバイパスされるリスクがある。最適化の技術的ブレークスルーであると同時に、ガバナンスにおける極めて重大な警告と言えるだろう。