本文へスキップ
IFAI

AIモデル

OpenAI、次期モデル「Astra」がサイバーセキュリティの「重大」リスク閾値に達した可能性を警告

公開 拡散指数 53

OpenAIは開発中の次期モデル「Astra」について、人間の介入なしに実環境のゼロデイ脆弱性を悪用できる「重大」なサイバー能力閾値に達している可能性を排除できないと発表した。これに伴い同社は、モデル重みの保護強化や隔離環境での検証を急ぎ、新しい安全基準を満たさない内部活動を一時停止している。

OpenAI、次期モデル「Astra」がサイバーセキュリティの「重大」リスク閾値に達した可能性を警告
画像:openai.com

人間の介入なしに、防御の固いシステムからゼロデイ脆弱性を自律的に見つけ出して攻撃コードを組み立てるAI。そんな能力が現実味を帯びてきました。

OpenAIは、開発中の次期モデル「Astra」の内部評価において、自社の安全性基準「Preparedness Framework」におけるサイバーセキュリティの「重大(Critical)」しきい値に達している可能性を否定できないと発表しました。

「重大」しきい値が意味するもの

OpenAIが2023年12月に策定したこのフレームワークでは、AIが自律的かつ壊滅的なリスクをもたらさないかを評価しています。

サイバー領域での「重大」レベルとは、人間の手を借りずに、防御が堅牢な現実の重要システムから機能するゼロデイ脆弱性を特定・開発できる状態、あるいは大まかな指示だけで高度な標的に対する包括的なサイバー攻撃戦略を立案・実行できる能力を指します。

これまでのGPT-5.6-Solなどのモデルは「高(High)」にとどまっていましたが、Astraのエージェント型コーディングとセキュリティ能力はそれを飛び越えつつあります。なお、OpenAIはAstraが以前のHugging Faceを標的とした脆弱性悪用には関与していないと明言しています。

社内開発の一時停止と「思考の連鎖」監視

この結果を受け、OpenAIは直ちに対策を強化しました。

社内におけるAstra関連の作業のうち、新しい厳格なセキュリティ要件を満たしていないものは一時停止されています。

今後の実験は、ネットワークやツールへのアクセスを制限した隔離環境、モデル重みの暗号化強化、サンドボックス内での実行が義務付けられます。

さらに、トレーニングや評価を含むAstraのエージェント型運用のすべてに対し、モデルの「思考の連鎖(Chain of Thought)」をリアルタイムで監視する仕組みを導入しました。高リスクな振る舞いやアライメント違反を検知した場合、システムが自動的に介入して処理を中断させます。

OpenAIは今後、関係政府機関や専門のAI安全組織と連携して能力検証を進める方針です。

なぜ重要か

一般の開発者や企業にとって、このクラスのモデルがそのまま開放される可能性は極めて低く、当面は防衛ツールとしての限定的な活用にとどまる見込みです。しかし、AIが未知の脆弱性を自律的に探り当てられる段階に入ったことは、既存のセキュリティ対策が根本から通用しなくなる前兆でもあります。

業界全体にとっても、AIの進化競争は単なるベンチマーク比較から、危険能力の封じ込めにシフトせざるを得なくなります。AnthropicやGoogleなどの競合各社も、同様のレッドライン管理を公表せざるを得ないプレッシャーを受けるはずです。

今回のOpenAIの対応について、能力の発現を隠さずに公表し、社内利用すら一時凍結した判断は賢明だと評価できます。思考の連鎖を監視して強制停止するアプローチも実用的です。

ただし懸念されるのは、この安全策がすべて「OpenAIの隔離環境から漏れ出さないこと」を前提にしている点です。ひとたびモデルの重みが流出すれば、完全自律型のサイバー兵器になりかねないモデルをどう管理し続けるのか、業界全体が重い問いを突きつけられています。

情報源 (1)

  1. [1]
    openai.com(新しいタブで開きます)原文openai.com

毎日のAIピックアップ