GoogleやOpenAIら4社、子どもの安全を守る非営利団体「ROOST」設立

未成年が利用するオンラインサービスを運営している開発者にとって、不適切なコンテンツの検閲は常に頭の痛い問題です。小規模な企業が独自の高度な検閲AIをゼロから開発するのは、費用面でも技術面でも現実的ではありませんでした。

Google、OpenAI、Roblox、Discordの4社は、子どもの安全を守るための非営利組織ROOST（Robust Open Online Safety Tools）を設立しました。元Google CEOのエリック・シュミット氏も創設パートナーとして名を連ねています。

同組織はマクガバ​​ン財団やナイト財団などから2700万ドル以上の慈善資金を調達しており、今後4年間の活動資金を確保しています。狙いは明確で、児童性的虐待素材（CSAM）の検出、審査、通報を行う無料のオープンソースAIツールを業界全体に提供することです。

バラバラだった安全対策ツールを一元化へ

ネット上の安全対策はプラットフォームごとに分断されており、技術格差が大きな抜け穴になっていました。

ROOSTは検証済みのAIトレーニング用データセットを提供し、大規模言語モデルを活用して既存のツールを統合する方針です。Robloxでエンジニアリングおよびトラスト＆セーフティを担当するナレン・コネール副社長によると、外部企業がAPI経由で呼び出せるモデレーションシステムのホスティングも検討されているといいます。

各社は自社の資産も持ち寄ります。DiscordはMetaやGoogleと参加している情報共有プロジェクトLanternの知見を提供し、Robloxは音声内の暴言やいじめ、不適切な会話を検出する自社AIモデルを今年オープンソース化する計画です。

ただし、マイクロソフトのPhotoDNAなど、すでに広く普及している既存の画像照合技術とどう連携するのかなど、具体的な技術的仕様にはまだ不透明な部分も残されています。

迫る規制圧力とプラットフォームの自衛策

各社が手を組んだ背景には、世界中で強まる未成年保護への規制圧力があります。

全米行方不明・被搾取児童センター（NCMEC）の報告によると、児童搾取の疑いがある通報件数は2022年から2023年にかけて12パーセント増加しました。特にRobloxやDiscordは、大人が未成年者に監視なしでメッセージを送れる環境を放置したとして、過去に提訴されるなど厳しい批判を浴びてきました。

生成AIの進化によって不適切コンテンツの生成や拡散のリスクが高まる中、企業側としても自主規制の実効性を示さなければ法的な締め付けを免れない状況です。なお、Discordはこの発表に合わせて、相手に知られずにメッセージや通知を非表示にできる新機能「Ignore」もリリースしました。

なぜ重要か

ゲームやソーシャル機能を開発するスタートアップや個人開発者にとって、ROOSTのツール群は非常に魅力的な選択肢になります。莫大なコストをかけずに、大手プラットフォームと同等水準のセーフティガードをAPIやオープンソース経由で導入できるため、公開され次第すぐに検証する価値があります。

業界全体にとっても、各社が孤立して対策する時代から、基盤モデルレベルでの情報共有と共同防衛へシフトする大きな契機になります。悪意あるユーザーが対策の緩い中小サービスへ逃げ込むのを防ぐ効果が期待されます。

この取り組みは賢明な一手に見える一方で、課題もあります。検出ツールをオープンソース化するということは、攻撃者側にもアルゴリズムの手の内を明かすことになり、フィルターをすり抜けるための回避策を研究されやすくなるリスクを孕んでいます。透明性の確保とセキュリティのいたちごっこをどう両立させるかが、今後の成否を分けると考えます。