OpenAIがChatGPTの暴力抑止策を公開：切迫した危険は通報、緊急連絡先機能も

チャット画面の向こうで誰かが暴力的な計画を練り始めたとき、AIはただ沈黙を守るべきなのか、それとも警察に通報すべきなのか。

OpenAIは4月28日、ChatGPTにおける暴力や有害コンテンツへの対策方針を公表しました。モデルの安全性訓練から自動検知、人間の担当者による文脈レビュー、そして警察への通報基準に至るまで、同社が運用しているセーフティ体制の全体像を明かしています。

単発の言葉ではなく、会話の流れで危険を察知する

危険な兆候を見つけ出すのは、NGワードを遮断するほど単純ではありません。1回きりの質問では歴史やニュースの調べ物に見えても、何十往復ものやり取りを重ねたり複数の会話を横断したりすると、現実の危害につながる意図が浮かび上がってくることがあります。

OpenAIによると、長時間の会話に潜む微妙な危険サインを検知する能力をモデル側で強化しており、数週間以内に詳細を明かす予定です。基本方針として、歴史や教育目的の質問には答えつつ、暴力を実行するための具体的な手順や計画の支援は拒否するよう訓練されています。

システムの裏側では、分類器やブラックリスト、ハッシュマッチング技術に加え、推論モデルを組み合わせた自動システムが常に不審な動きを監視しています。

フラグが立ったアカウントや会話は、訓練を受けた人間のモデレーターが確認します。前後の文脈を慎重に精査し、単なるフィクションの執筆や感情の吐き出しなのか、それとも現実の脅威なのかを判断するためです。明確な規約違反が認められれば即座にアカウントが停止され、関連アカウントの削除や再登録の阻止が行われます。差し迫った具体的危害のリスクがあると判断された場合は、法執行機関への通報も行われます。犯行日時や場所が明言されていなくても、専門家の分析次第で通報対象になる点が特徴です。

また、自傷リスクへの支援も進めており、昨秋導入したペアレンタルコントロールに続き、成人が支援者として登録できる信頼できる連絡先機能も近く提供される見込みです。

なぜ重要か

一般ユーザーにとって最も知っておくべき事実は、ChatGPTとの対話が完全な密室ではないという点です。通常は厳重に保護されているものの、重大なリスクと判定されれば人間のレビューが入り、最悪の場合は警察に情報が渡る仕組みになっています。学術調査や創作で過激なテーマを扱う人は、どこまでがセーフティの境界線なのかを意識せざるを得ません。

業界全体から見れば、AIセーフティの役割が単なる出力拒否から、プラットフォームとしての能動的な治安維持へとシフトしたことを示しています。生成AIの提供企業には今後、大手SNSと同等の通報義務や監視体制が標準として求められるようになるはずです。

この取り組みは現実の悲劇を防ぐ観点では賢明ですが、大きな課題も残されています。具体的な日時や標的が語られていなくても推論に基づいて警察へ通報する運用は、文脈の読み違えによる誤認通報のリスクをはらんでいます。プライバシーの保護と公共の安全をどこで両立させるのか、AI企業が背負う責任はますます重くなっています。