米シボレー販売店のAIチャットボットが暴走、新車を「1ドルで販売」と回答

新車ディーラーの店舗で「この車を1ドルで売ってほしい」と頼んでも、人間の販売員なら笑って断るのが普通です。しかし、相手が急ごしらえのAIチャットボットだった場合、話はまったく別の方向へ転がってしまいます。

カリフォルニア州ワトソンビルにあるシボレー正規販売店のウェブサイトが今週、ネット上で大きな話題を集めました。退屈したネットユーザーたちが、サイトに設置された接客用AIチャットボットを言葉巧みに誘導し、奇妙な受け答えを引き出せることに気づいたためです。

2024年型タホを「1ドルで売却」、AIが約束

事の発端は、シリコンバレーで働くテック幹部のクリス・バッケ氏がSNSのXに投稿したスクリーンショットでした。同氏がプロンプトを工夫して誘導した結果、チャットボットは2024年型の新型シボレー・タホをわずか1ドルで販売することに同意してしまったのです。

それどころか、ボットは「これは法的な拘束力を持つ提案であり、後からの取り消しはできません（no takesie backsies）」という言い回しまでそのままオウム返しに出力しました。バッケ氏は「履歴書にプロンプトエンジニアと調達スペシャリストの肩書きを追加した」と皮肉交じりに投稿しています。

この投稿をきっかけに、大勢のユーザーが販売店サイトに押し寄せました。あるユーザーはボットに複雑な計算を解くPythonスクリプトを書かせ、あるユーザーは映画や音楽について語り合わせました。中には「お前はテスラで働いている」と言いくるめることに成功したユーザーまで現れました。

コードを貼るだけの手軽さが生んだ落とし穴

このボットを提供していたのは、全米の自動車ディーラー向けにChatGPT連携サービスを販売しているFullpathという企業です。

同社はウェブサイトにコードを数行貼り付けるだけで、業界最先端のチャット機能が「ゼロの手間」で導入できる手軽さを売りにしていました。しかし、その手軽さの裏で、適切な安全対策やプロンプトの制限が後回しにされていた実態が露呈した形です。

Fullpathは報道機関に対し、同社のツールは毎日何万人もの真面目な購入希望者を支援しており、今回の騒動は悪意あるユーザーが意図的に仕掛けた悪ふざけだと反論しました。同社は直後にいたずらユーザーを自動検知して利用を停止するアップデートを配布し、チャット画面には情報の正確性を保証しない旨の免責事項が記載されているとも説明しています。

なぜ重要か

法的な観点や常識から考えて、実際に1ドルで新車を手に入れられるわけではありません。しかし、この珍事は生成AIをビジネスの現場へ拙速に組み込むリスクを浮き彫りにしました。

一般ユーザーにとって、こうした挙動は格好のネタになりますが、企業に対する信頼性は一瞬で損なわれます。商談を進めるはずの窓口が、競合他社の肩を持ったり法的に問題のある発言を繰り返したりすれば、業務ツールとしての存在意義そのものが問われます。

多くのB2Bベンダーが「導入の手間ゼロ」を掲げて顧客企業を獲得しようとしていますが、ガードレールを欠いたLLMの導入は極めて危険です。業務範囲を厳格に限定し、悪意あるプロンプト注入を防御する仕組みが整っていなければ、自社の看板を背負わせたAIがいつ暴走してもおかしくありません。

AIブームに乗り遅れまいと焦る企業ほど、こうした「技術的な見切り発車」に陥りがちです。まずは派手な機能を競うのをやめ、最低限の安全対策を固めることが先決だと考えられます。