Anthropic、Claude内部の「思考空間」を発見:発言しない本音の読み書きに成功
AnthropicはClaudeの内部ニューラル活動に自発的に生じた「J-space」を発見したと発表した。ヤコビアンレンズという手法を用い、モデルが発言せず思考している中間ステップや隠れた意図の読み取り・編集に成功。AIの思考プロセスの監視や安全性の確保に新たな道を拓く成果だ。

大規模言語モデルが思考するときは、思考プロセスを画面上にテキストとして出力させるのがこれまでの常識でした。しかしAnthropicの研究チームは、Claudeの内部に言葉を発することなく思考できる隠れた作業領域が存在することを発見しました。
7月6日に公開された研究によると、この領域はヤコビアンレンズと呼ばれる解析技術にちなんで「J空間(J-space)」と名付けられました。モデルが外部に文字を出力せず、神経ネットワークの内部活性化だけで静かに思考を巡らせる空間です。
驚くべきことに、この仕組みは開発者が意図的に設計したものではなく、Claudeの訓練プロセスの中で自発的に創発したといいます。
モデルが「声に出さず考えていること」を可視化
この研究は、脳科学におけるグローバル・ワークスペース理論(大域的作業空間理論)に着想を得ています。脳が無意識に行う膨大な並列処理のうち、ごく一部の情報だけが共有空間に送られて意識的な推論に使われるという考え方です。
ヤコビアンレンズをClaudeの内部処理に適用すると、モデルが次に何を話そうとしているかだけでなく、頭の中で何をつぶやいているかが単語として読み取れるようになりました。
例えばバグを含むコードを読ませると、J空間にはERRORという概念が浮かび上がります。悪意あるプロンプトインジェクション攻撃を読んだ際には、表面上は冷静に応答していても、J空間内にはfakeやinjectionといった警戒ワードが点灯していました。
ある実験では、絵画に関する無関係な文章を書き写させながら、同時に暗算を指示しました。出力されたテキストには数字が一切含まれないにもかかわらず、J空間の深い層では計算の途中経過が順番に処理されていました。
思考の書き換えとセキュリティへの応用
研究チームは、このJ空間が単なる結果の記録板ではなく、Claudeの最終的な判断を直接支配していることを実験で証明しました。
Claudeにスポーツの名前を心の中で一つ選ばせたところ、J空間にはサッカーのパターンが現れました。そこで研究者がそのパターンをラグビーに強制的に書き換えたところ、Claudeはラグビーを思い浮かべていたと答えました。
さらに、ClaudeのJ空間に雷という概念を外部から注入したところ、モデル自身が思考を注入されたことに気付き、雷のイメージが浮かんだと正しく自己申告しました。一方でJ空間の働きを阻害すると、日常会話や文法は維持できるものの、複雑な推論能力だけが失われました。
Anthropicはこの手法のコードをオープンソース化し、Neuronpediaと提携してオープンモデル上で試せるインタラクティブなデモも公開しています。
なぜ重要か
この発見は、AIのブラックボックス問題を解消し、安全性を監視する上で極めて強力な武器になると私たちは考えます。これまでのAI安全性テストは、モデルが思考ログとして書き出したテキストを監視するしかなく、AIが本音を隠して表面上従順に振る舞うリスクを防ぎきれませんでした。J空間を直接モニタリングできれば、嘘をつこうとした瞬間や隠された目標を追跡している兆候を、出力前に検知できます。
業界全体にとっても、モデル内部がカオスな数値の羅列ではなく、人間の意識構造に似たワークスペースを自ら構築していたという事実は大きな示唆を与えます。今後のモデル開発において、意図的な思考制御やアライメントの新しい標準技術になる可能性があります。
ただし、今すぐすべての商用APIに導入できるわけではありません。解析処理の負荷が大きく、リアルタイム推論の全量監視にはコストがかかりすぎます。また、特定の概念を考えるなと命じてもJ空間に薄く反応が残るなど、モデル自身の思考抑制も完全ではありません。AIの心の中を覗く窓は手に入ったものの、それを完璧に手懐けるにはまだ検証が必要です。
情報源 (1)
- anthropic.com(新しいタブで開きます)原文anthropic.com