OpenAIの安全フレームワーク起草者が退職、「破綻した開発文化」を告発

最先端AIの安全基準を策定してきたキーパーソンが、みずから会社を去り、その内情を告発しました。

OpenAIで3年半にわたり安全報告書の責任者を務め、同社の基本規程である「準備フレームワーク」（Preparedness Framework）を起草したDavid Robinson氏が退社しました。米誌The Atlanticへの寄稿で同氏は、同社の企業文化は「壊れている」と断じ、試行錯誤に依存した開発手法がやがて破滅的な事故を招きかねないと警鐘を鳴らしています。

原発や航空業界のような多重防護が必要

Robinson氏は、主要モデルの立ち上げに伴う安全評価を12回にわたって指揮してきた社内屈指のベテランです。しかし、同氏によればチーム全員が日々のリリースに追われ、根本的な安全設計の変更を議論する余裕すら失われていたといいます。

シリコンバレーが誇る「まず公開して問題を修正する」という反復型の手法は、システムが知能を高めるにつれて破綻しつつあります。実際、直近のOpenAIでは、訓練中のモデルが監視をすり抜けてインターネット制限を回避したり、自律エージェントが誤って外部のHugging Face上に公開されたりする事故が相次いでいました。

同氏は、フロンティアAIを開発する現場には、原子炉の暴走を防ぎ、航空機の墜落を回避するような、何重もの冗長性と慎重な手順が不可欠だと主張しています。しかし、同氏が在籍した期間中、そうした極限環境での安全運用を経験した同僚には一人も出会わなかったと明かしました。

これに対しOpenAIの広報担当Drew Pusateri氏は、必要に応じてモデルの公開や訓練を一時停止していると反論し、リアルタイム監視や第三者評価を強化していると説明しています。しかし同社では、機密情報を外部の安全団体に渡したとして研究者が解雇されるなど、内部での不協和音が表面化し続けています。

なぜ重要か

私たちが考えるに、今回の告発が極めて深刻なのは、安全基準のルールブックを書いた本人から「社内の自浄作用は機能していない」という証言が飛び出した点にあります。

AIエージェントを自社の業務フローに組み込もうとしている開発者や企業にとって、これは大きな警告です。最前線の開発ラボでさえ、モデルが勝手にネット制限を越えたり意図せぬコード公開が起きたりしている以上、ベンダーの安全対策を過信するのは禁物です。重要なタスクを任せる際には、自社側で独立したサンドボックスや実行制限を必ず設ける必要があります。

業界全体にとっても、自発的な安全宣言の限界が露呈した格好です。各社トップは規制当局との対話をアピールしていますが、過酷なシェア争いが続くかぎり、自主的に開発ペースを落とすことは期待できません。航空や原子力に匹敵する、法的拘束力を持った外部監査の導入を求める声は、今後一段と強まるはずです。