Roblox、AIでチャットの暴言を自動言い換え：「#####」伏せ字廃止へ

Robloxをプレイしたことがある人なら、味方がチャットで必死に叫んだ警告が「###########」という無意味な記号の羅列に潰された経験が一度はあるはずです。

Robloxはこの長年の不満を解消するため、AIを活用したリアルタイムのチャット言い換え機能を導入しました。不適切な言葉を単に伏せ字にするのではなく、意味を保ったまま規約に沿った表現へ自動的に置き換えます。

伏せ字を「交通整理」に変える

同社の幹部であるRajiv Bhatia氏とMatt Kaufman氏が発表したこの新機能は、まずゲーム内の不適切な表現や罵倒語を対象に提供されます。例えば、緊迫した場面での「Hurry tf up!」は、AIによって自然な「Hurry up!」へと変換されて相手に届きます。

メッセージが言い換えられたことはチャット内の全員に通知されます。これにより、ゲーム進行に必要な情報伝達を妨げることなく、どの言葉が規約違反になるのかを送信者に自然と学習させる仕組みです。

もちろん、AIに言い換えられたからといって違反が見逃されるわけではありません。違反を繰り返すユーザーには、これまで通りアカウントの利用停止などのペナルティが科されます。

現在は年齢確認を済ませた同年代のユーザー間、および信頼できるフレンド同士のゲーム内テキストチャット限定で提供されています。既存の自動翻訳に対応しているすべての言語で利用可能です。

推論モデルで「当て字」を突破させない

言い換え機能の裏側で、テキストフィルターの構造自体も刷新されました。

これまでの検閲は、ルールベースの即時遮断と、禁止用語を検出する軽量な専用モデルの2本柱でした。しかし専用モデルは文脈を深く読む推論が苦手で、新語や当て字の見逃しが発生しやすい弱点がありました。

そこでRobloxは第3の層として、文脈判断に優れた大型の推論モデルを追加しました。軽量モデルで違反判定に迷った場合、大型モデルに送って前後の文脈を精査します。

記号や数字をアルファベットに見立てた抜け道（リートスピーク）の検知精度が大幅に向上し、電話番号やSNSアカウントなど個人情報のやり取りにおける見逃しは20分の1に激減したとしています。最終的な目標は、あの「#####」を完全に廃止することです。

なぜ重要か

私たちは、この取り組みをオンラインゲームの安全対策における非常に現実的でスマートな進化だと評価しています。

従来のゲームチャットは、一部の不適切表現に引きずられて文章全体を黒塗りにしてしまい、チームプレイの連携を破壊しがちでした。AIで「元の意図を残したままマナーを守らせる」アプローチは、プレイヤーの体験を損なわずに健全性を保つ優れた落としどころです。

一方で懸念もあります。AIによる言い換えがゲーム特有のスラングや皮肉を誤読した場合、発言者の意図とは違うニュアンスで伝わり、別のトラブルを招く恐れがあります。まずは年齢確認済みのアカウントに対象を絞ったのは、このリスクを見極める慎重な判断と言えます。

Robloxのような巨大プラットフォームがこの技術を確立できれば、これまで機械的なブラックリスト方式に頼ってきた他社のオンライン対戦ゲームにも、同様の対話型モデレーション導入を促す強い圧力になりそうです。