OpenAI、疎な回路でAIのブラックボックス解明へ新アプローチ

最先端の AI モデルは、驚くほど賢い反面、中身がどう動いているのか誰にも完全にはわからない「ブラックボックス」のままです。従来の解釈性研究では、複雑に絡み合った巨大なネットワークを学習後にリバースエンジニアリングしようとしてきましたが、1 つのニューロンが無数のタスクを兼任しているため、解析は極めて困難でした。

OpenAI は 11 月 13 日、この問題に対して従来とは正反対のアプローチを発表しました。後から解きほぐすのではなく、最初から「絡まりようのない疎なネットワーク」を学習させるという試みです。

接続を数万から数十本へ絞り込む

研究チームは GPT-2 に近い構造の言語モデルをベースにしながら、内部の重みの大部分をゼロに固定するという極端な制約を課しました。

ニューロンの総数自体は増やしつつも、各ニューロンが接続できる相手をわずか数十個に制限します。これにより、複雑に入り組んでいた計算の経路が、独立したパイプラインのように分離されます。

実際に Python コードの引用符を閉じる処理（シングルクォートにはシングル、ダブルにはダブルで閉じる）などのアルゴリズム課題をテストしたところ、特定の動作だけを担うごく小さな「回路」を完全に切り出すことに成功しました。モデルの他の部分をすべて削ぎ落としてもその回路単体で機能し、逆にその接続を数本切るだけで機能が停止することが確認されています。

興味深いことに、モデルをより大きく、かつよりスパース（疎）にするほど、現れる回路はむしろシンプルで理解しやすくなる傾向が見られました。

なぜ重要か

現在、フロンティアモデルの監視には「思考の連鎖（Chain of Thought）」を出力させる手法が多用されています。しかし OpenAI 自身が認めているように、思考プロセスの自己申告に頼る監視は脆く、モデルが高度化すれば嘘をつかれて破綻するリスクがあります。真の安全性を確保するには、内部の回路レベルで計算を把握するメカニスティックな解釈性が欠かせません。

ただし、実用化までのハードルはまだ相当高いと見ています。現在の GPU をはじめとするハードウェアは密な行列計算に最適化されているため、スパースなネットワークは学習も推論も非常に効率が悪く、莫大なコストがかかります。今回実験されたモデルも最前線のモデルと比べれば遥かに小規模です。

それでも、モデルの大規模化と構造の単純化が両立し得ることを示した意義は大きいと言えます。ブラックボックスのまま性能だけを追い求めるのではなく、回路図が読める安全なフロンティア AI を目指す上で、重要な布石となる研究です。