OpenAI、最先端AIの破滅的リスクに対処する「Preparedness」チームを新設

AIが仕事を奪うかどうかという議論の裏で、OpenAIはもっと物騒な事態を想定して動き出しました。もし将来、極めて危険な最先端モデルの重みデータが悪意ある組織に盗まれたらどうなるか、という問題です。

この壊滅的なリスクに備えるため、同社は専門の対策組織であるPreparednessチームを新設しました。

チームを率いるのはAleksander Madry氏です。開発中のモデルから将来のAGI水準のシステムまでを視野に入れ、危険な能力の評価、ベンチマークテスト、内部レッドチーム演習を統括します。

4つの破滅的リスクと開発指針

このチームが監視するのは、不適切な発言をブロックするといった日常的な安全性ではありません。

彼らが設定した重点領域は4つあります。個人に合わせた説得や心理操作、サイバーセキュリティの脅威、化学・生物・放射性物質・核兵器に関するリスク、そしてAIが自律的に増殖・適応する能力です。

あわせてチームは、リスク情報に基づく開発ポリシーの策定も進めています。危険な能力を事前に検知するための厳密な評価基準や、リスクに応じた保護策、開発プロセス全体のガバナンス体制を固める狙いです。

2万5000ドルの賞金で募った最悪のシナリオ

自社内だけの視点では見落としが生まれるため、OpenAIは壊滅的な悪用シナリオを募るコンテストも実施しました。

未知のリスクを発見した上位10件の提案に対し、それぞれ2万5000ドル分のAPIクレジットを付与し、優秀な応募者はチームの採用候補とする仕組みです。

世界中から数百件の応募があり、選考を通過したシナリオには不穏な具体例が並びました。無線通信を妨害して航空機事故を引き起こす手法、重要国の金融危機を誘発する手口、患者の投薬量を改ざんする攻撃などが含まれています。

さらに興味深いのは、応募全体の約70パーセントがAIによる説得能力の強化に警鐘を鳴らしていた点です。オンラインでの過激化や社会の分断、政治的世論工作に悪用される懸念が集中しました。

なぜ重要か

今回の動きは、抽象的になりがちだったAI脅威論を具体的な工学評価に落とし込んだ点で賢い一手だと私たちは考えています。

映画のような終末論を語るだけではなく、生物化学兵器やサイバー攻撃、自律増殖といった測定可能な項目に切り分けたことで、どの水準からが危険なのかを技術的に議論できるようになります。

一方で、一般の開発者にとっては、今後のフロンティアモデルで提供される機能やAPIの審査が一段と厳しくなるサインでもあります。高度な自動化や説得に関わる機能は、利用制限や監視が強化される可能性が高いはずです。

ただし懸念も残ります。評価の基準を作り、テストを行い、リリース可能かを判断するのがすべてOpenAI自身であるという点です。第三者による客観的な検証や法的拘束力がない現状では、自作自演の安全宣言に終わるリスクは否定できず、業界全体のガバナンスとしてはまだ心もとないように見えます。