OpenAI、児童の性的搾取対策を公表　新手の悪用手口やThorn連携の詳細

マルチモーダルAIが画像認識や小説の執筆を難なくこなすようになるにつれ、その裏で悪用を試みる手法も急速に陰湿化しています。

OpenAIは、同社のモデルを悪用した児童性的虐待および搾取コンテンツ（CSAM / CSEM）の作成や消費を防ぐための取り組みと、実際に観測された新たな悪用パターンを公表しました。

巧妙化するプロンプトと検知の現場

多くの人は、AIによるCSAM対策と聞くと「不適切な画像を生成させないこと」を思い浮かべるかもしれません。しかし現在起きているのは、より狡猾な手口です。

OpenAIによると、利用者が違法な画像をChatGPTにアップロードし、その画像に何が写っているのかを極めて詳細にテキストで描写させようとする手口が確認されています。

また、違法画像をストーリーの一部として読み込ませながら性的なロールプレイに誘い込んだり、未成年者を巻き込んだ性的・暴力的な架空の物語を書かせようとするプロンプトも後を絶ちません。

これに対しOpenAIは、専門組織Thornのハッシュデータベースによる既知コンテンツの照合や、アップロードファイルを検査するThornの分類器、さらには自社の文脈解析モデルを組み合わせて防御しています。違反アカウントは即座に停止され、全米行方不明・被搾取児童センター（NCMEC）へ通報されます。サードパーティの開発者が対策を怠った場合も、開発者アカウントごと停止されます。

レッドチーム演習すら違法になる法制度の壁

今回の報告でOpenAIは、AIセーフティ研究における法的なジレンマにも踏み込みました。

米国法においてCSAMの所持や作成は厳格に違法とされています。これは、AIモデルの弱点を探るための「レッドチーム演習」において、たとえ模擬データであってもテストに使用できないことを意味します。

つまり安全対策チームは、実践的なストレステストを十分に行えないまま防御策を構築しなければならないという構造的なハンディキャップを抱えています。

OpenAIがニューヨーク州の関連法案などを支持しているのはこのためです。技術企業や法執行機関が安全のために能動的な検知や研究を行えるよう、明確な免責と協力体制を定めた法整備を求めています。

なぜ重要か

マルチモーダルAIが進化するほど、画像生成そのものを止めるだけでは安全を守れなくなっています。

視覚認識を使った画像の詳細解説や、テキスト生成による架空小説の執筆など、AIの基本機能そのものが悪用ルートに転用されている現実は重く受け止めるべきです。OpenAIがこれらの手口を公表したことは、業界全体への強い警鐘になります。

また、安全を守るためのテストすら違法になりかねないという指摘は、現行の法制度がAI時代に追いついていない実態を浮き彫りにしました。

APIを利用して未成年向けサービスを開発している事業者にとっても、他人事ではありません。OpenAIがアプリ側の管理不行き届きに対しても厳罰で臨む姿勢を明確にした以上、アプリ側での独自フィルタリングや監視体制の構築は必須条件になりつつあります。