MetaがAI安全枠組みを刷新：「制御喪失」評価を新設しMuse Spark報告書を公開

AI の安全対策といえば、これまではNGワードを片っ端から登録して弾くような、ルールベースの力技が主流でした。しかし、モデルの推論能力が飛躍的に向上した今、そのやり方は限界を迎えつつあります。

Meta は 4 月 8 日、従来の安全基準を大幅に強化した「高度 AI スケーリングフレームワーク」を公開しました。あわせて、最新モデル「Muse Spark」の安全準備状況レポートを公表しています。

「制御不能リスク」の検証と、ルールの理由を教えるアプローチ

今回のフレームワークで特筆すべきは、化学・生物兵器リスクやサイバーセキュリティに加え、新たに「制御不能リスク（loss of control）」の評価項目が正式に組み込まれた点です。AI の自律性が高まるにつれて、人間の管理を離れて勝手に暴走しないか、緊急停止や制御が意図通りに機能するかを厳密に測定します。

この基準は、Meta が提供するオープンソース、API、商用クローズドのすべての提供形態に一貫して適用されます。

発表によると、Muse Spark に対しては安全ガードレールを適用する前後に数千件の敵対的シナリオテストを実施しました。その結果、現時点で制御不能リスクをもたらすほどの高度な自律能力は持っていないことが確認されたとしています。また、回答における政治的・思想的中立性の確保でも高い水準を記録したと説明しています。

さらに興味深いのは、モデルへのしつけ方そのものの進化です。

これまでは特定の質問に対して「回答を拒否する」「別リンクへ誘導する」といった対症療法的な学習を行っていましたが、これでは新しい攻撃手法に対応できません。Muse Spark では強化された推論能力を生かし、安全ガイドラインを原則として理解させ、「なぜそれが安全なのか」というルールの背景にある理由そのものを学習させました。これにより、過去に想定していない未知の問いかけに対しても、モデル自身が安全性を推論して対応できるようになったといいます。

なぜ重要か

オープン戦略を掲げる Meta にとって、この動きは単なる安全アピールにとどまらない戦略的な意味を持っています。

ユーザーや開発者にとっての最大のメリットは、過度な拒絶（いわゆる過剰防衛や誤検知）の減少です。ルールベースの安全対策は、業務上の正当なプロンプトまで弾いてしまうことが多々ありました。AI 自体がルールの意図を理解して判断するようになれば、安全性を保ちながら実用的な回答を得やすくなり、実務への導入ハードルが下がると考えられます。

業界全体への影響も見逃せません。Meta はオープンソースモデルの安全性をめぐって競合や規制当局から厳しい視線を浴びてきました。今回、オープンもクローズドも同じ厳格なフレームワークで事前評価し、レポートを透明性高く開示する方針を示したことで、競合のプロプライエタリ陣営に対しても同水準の情報開示を迫る形になります。

私たちは、AI にルールの「理由」を教えるアプローチは非常に合理的だと評価しています。ただし懸念もあります。モデル単体では自律的な制御不能リスクがないと判断されても、外部ツールや実行環境と連携する自律エージェントとして組み込まれた際、その推論ベースの安全性がどこまで破られずに維持できるかは、依然として未知数です。