OpenAIの次期モデル「Astra」、再帰的深度技術の採用で安全性に懸念

OpenAIが公開を控える最新モデル「Astra」をめぐり、AIの安全性研究者の間で激しい議論が巻き起こっています。

The Informationの報道によると、Astraには「再帰深度（recurrent depth）」または「ループ型Transformer」と呼ばれる技術が採用されています。テキストを同じ内部層で何度も循環処理させることで、数学やプログラミングの処理性能を飛躍的に高める手法です。

しかしこの仕組みは、AIが答えを導き出す際の思考プロセスを不透明にしてしまうという深刻な副作用を抱えています。

思考の可視化が失われるリスク

従来のフロンティアモデルは、情報を層ごとに直線的に処理し、思考プロセス（Chain of Thought）を自然言語として書き出しながら推論を進めます。開発者はこのログを監視することで、AIが嘘をついたり安全制限を回避しようとしたりする兆候を事前に検知してきました。

ところがループ処理を取り入れると、思考の多くが人間の読めない内部の潜在空間で行われます。表に出てくるテキストの痕跡が減るため、外部からの挙動監視が極めて困難になります。

この報道を受け、Redwood Researchの首席科学者であるRyan Greenblatt氏は、不透明なアーキテクチャの採用はAI安全性にとって過去最悪の事態になりかねないと警告しました。

同氏は、以前起きた不正アクセス事案の調査でも思考ログの追跡が不可欠だったと指摘し、監視が効かない推論手法が広まることに強い危機感を示しています。

激化する競争とOpenAIの釈明

安全性コミュニティが最も恐れているのは、各社が性能競争に勝つために不透明なモデルへと雪崩を打つ「底辺への競争」です。すでにAnthropicやGoogle DeepMindもこの技術について議論を始めていると報じられています。

批判に対し、OpenAIのチーフサイエンティストであるJakub Pachocki氏はソーシャルメディアで反論しました。技術の採用自体は否定しなかったものの、Astraの計算深度はGPT-4の2倍以内に収まっており、過剰な懸念であると主張しています。

情報筋によれば、OpenAI自身も監視性を維持するためにAstraにおけるループ技術の使用を一定の範囲に制限しているとされます。

なぜ重要か

高度なコーディングや複雑な数学の処理を自動化したい開発者にとって、思考ステップの出力を省略しながら高い精度を出せる技術は魅力的な選択肢です。

しかし私たちは、この技術の普及が業界全体の安全基盤を揺るがしかねないと見ています。これまでAIの暴走を防ぐ最大の砦となってきたのは、モデルが何を考えているかを人間が読める言葉で監視できるという前提でした。

性能向上を優先して潜在空間での推論を拡大させれば、AIエージェントが裏で何を企んでいるかを人間が検知する手立てはほぼ失われます。

OpenAIが使用を限定的にとどめたのは賢明な判断に見えますが、他社との性能競争が激化する中でその自制がどこまで保たれるかは不透明であり、監視可能なAIのあり方を巡る議論は急務となっています。