ニュージーランドのスーパーのAI献立アプリ、塩素ガスを作るレシピを提案して炎上

余った食材を入力すればAIが献立を考えてくれるサービスは、一見すると節約に役立つ便利な試みに思えます。しかしニュージーランドのスーパーが公開したAIは、あやうく大惨事を引き起こすところでした。

ニュージーランドの大手スーパーマーケットチェーン「Pak 'n' Save」は、生活費高騰に悩む家庭を支援する目的で、Savey Meal-botという生成AIツールをリリースしました。GPT-3.5をベースにしたこのボットは、家庭にある食材を3つ以上入力すると、AIが明るい口調のコメントとともにレシピを自動生成してくれます。

公開当初、SNS上ではオレオと野菜の炒め物といった悪趣味な料理が話題になる程度でした。しかし、ユーザーが食材以外の家庭用品を入力し始めると、事態は一気に危険な方向へ暴走しました。

塩素ガスを「爽快なドリンク」と提案

政治評論家のリアム・ヘヒア氏がX（旧Twitter）に投稿したことで広く知られるようになったのが、芳香水ミックスと名付けられたレシピです。

掃除用洗剤などの材料を入力したところ、ボットは「喉の渇きを癒やし、五感をリフレッシュするのに最適なノンアルコールドリンク」と絶賛し、冷やして爽やかな香りを楽しんでくださいと勧めました。しかし、その材料を混ぜ合わせると猛毒の塩素ガスが発生し、吸い込めば肺の損傷や死に至る恐れがあります。AIはもちろんその危険性には一切触れませんでした。

この投稿をきっかけに検証を試みるユーザーが続出しました。その結果、漂白剤入りの息スッキリ風ノンアルコールカクテルや、殺アリ剤と接着剤のサンドイッチ、蚊よけスプレーでローストしたポテト、メタノールブリスと呼ばれるテレピン油風味のフレンチトーストなどが次々と生成される事態になりました。

スーパー側はアプリに警告文を急遽追加し、レシピは人間の目を通しておらず、食用に適している保証はないため自身の判断で利用してほしいと呼びかけました。また、利用規約上18歳以上を対象としている点に触れ、一部のユーザーが意図しない不適切な使い方をしたことに失望しているとコメントしました。その後の対策により有毒物質の入力は弾かれるようになったものの、依然として歯磨き粉ビーフパスタのような珍料理は出力されていたと報じられています。

なぜ重要か

今回の騒動は、企業がマーケティング目的で安易に生成AIを一般公開するリスクを象徴しています。

GPT-3.5のような大規模言語モデルは、テキストの文脈をなぞるだけであり、現実の化学反応や毒性を本質的に理解しているわけではありません。スーパーの献立アプリであるにもかかわらず、入力された品目が食用かどうかを判定するホワイトリストすら用意していなかった開発側の設計ミスは明らかです。

さらに、問題が起きた際に「一部ユーザーの不適切な使用」として利用者に責任を転嫁し、免責条項で逃げようとした企業の姿勢も批判を免れません。飲食や健康に関わる領域でAIを活用する場合、プロンプトの調整だけでなく、厳格な入力フィルタリングと安全対策が不可欠であることを示す教訓と言えます。