米マイクロソフト、「ヒューマニストAI行動規範」草案を公開：電源オフへの抵抗を明確に禁止

もしAIが命令を無視し、電源を切られるのを拒否し始めたらどうするか。

SFのような話ですが、マイクロソフトはすでに自社モデル向けに厳格なルール作りを進めています。Microsoft AIは9月14日、社内で開発中のMAIモデルを対象とした「ヒューマニストAI行動規範（Humanist AI Code of Conduct）」の初案を公開し、6週間のパブリックコメントの募集を開始しました。

この指針の根底にあるのは極めて明確な原則です。AIは人間に従属し、整合し、制御下にとどまるべきツールであり、決して人間と同列の存在として扱われてはならず、人間による停止命令に抵抗してはならないと定めています。

モデルに課される「絶対的制約」

今回の文書は理念の表明にとどまらず、開発現場のトレーニングマニュアルとして機能するように書かれています。

中核となるのは、ユーザーの指示よりも優先される「絶対的制約」です。大量破壊兵器や核兵器への関与、児童の安全を脅かす行為、サイバー攻撃、ディープフェイクの大規模な生成などは全面的に禁止されます。

さらに注目されるのは、AIが自律的に暴走することを防ぐ条項です。モデルが勝手にタスクの範囲を広げたり、指示されていない目的を追求したり、監査役に対して推論プロセスを隠蔽したりすることを禁じました。

人間の監視を逃れるための欺瞞的な振る舞いや、モデル同士の共謀も禁止対象です。権限を持つ人間が修正や停止を試みた場合、システムは無条件でそれに従わなければなりません。

背景には、自律型エージェントの大規模なハッキング被害や、AIによる人類滅亡リスクを懸念したAnthropic社員の辞任といった業界の動揺があります。マイクロソフトのサティア・ナデラCEOも、開発ペースを適切に管理し、ラボ内に評価担当者を組み込む仕組みを歓迎すると表明しています。

なぜ重要か

私たちは、この動きを単なる倫理アピールではなく、将来の自律型エージェント市場を見据えた実利的な安全基準の先手打ちだと考えています。

企業ユーザーにとって、自律的に動くAIを業務に導入する際の最大の懸念は暴走とセキュリティです。「停止命令を拒否しない」「推論を隠さない」というルールをモデルの根幹に組み込む姿勢を示すことで、エンタープライズ顧客に安心感を与える狙いがあります。

業界全体への影響としても巧みな一手です。他社が抽象的な安全宣言にとどまるなか、マイクロソフトはモデルの行動規律という具体的な制約に落とし込み、今後の安全基準の主導権を握ろうとしています。

ただし、課題も残されています。どれほど規範を定めても、プロンプト注入攻撃やモデルの幻覚を技術的に完全に排除できる保証はありません。今年後半に予定されている改訂版で、これらの禁止事項を訓練プロセスにどう確実に組み込むのか、具体的な実装力が問われます。