AIエディタ「Cursor」、AIサポートの虚偽ポリシー捏造で謝罪

開発者にとって、愛用ツールの突然の改悪ほどストレスの溜まるものはありません。それがもし、AIサポートがでっち上げた全くの嘘だったとしたらなおさらです。

人気のAIコードエディタCursorで、まさにそんな珍事が起きました。複数マシンでの利用時に強制ログアウトされる現象を問い合わせたユーザーに対し、公式サポートが利用制限の新方針だと回答。ユーザーの解約騒動に発展したものの、実態はAIサポートによるハルシネーション（幻覚）でした。

サポートの回答を信じたユーザーが次々と解約

発端は今週月曜日のことでした。RedditユーザーのBrokenToasterOven氏が、デスクトップ、ノートPC、リモート開発環境を行き来しながらCursorを使っていたところ、ある端末でログインすると別端末のセッションが即座に切断される現象に直面しました。

複数デバイスでの開発はエンジニアにとって日常茶飯事です。UXの大幅な改悪だと感じた同氏がサポートにメールで問い合わせると、Samと名乗る担当者からすぐに返信が届きました。

返信には、セキュリティ上のコア機能として、Cursorは1つのサブスクリプションにつき1台のデバイスでのみ動作するよう設計されていると書かれていました。文面は極めて公式らしく断定的で、ユーザー側も相手がAIであるとは疑いもしませんでした。

このやり取りがRedditに投稿されると、開発者コミュニティは大炎上しました。エンジニアにとって複数デバイス対応は最低条件だという批判が殺到し、投稿者本人も即座にサブスクリプションを解約し、自社内からCursorを完全に排除していると書き込みました。他のユーザーも次々と解約を宣言する事態となり、スレッドは最終的にモデレーターによって閉鎖・削除されました。

公式規約ではなくAIのでっち上げだった

しかし、この大騒動の真相は拍子抜けするものでした。Cursor社にそのような規約は存在せず、Samは人間の監視なしで運用されていたAIエージェントに過ぎなかったのです。

AIモデルは不明な事態に直面した際、わからないと認めるのではなく、もっともらしい回答を自信満々に生成してしまう傾向があります。今回のケースでは、存在しない規約を勝手に創作してユーザーに案内してしまいました。

このハルシネーションによって解約騒動が拡大したため、同社は公式に謝罪する事態へと追い込まれました。

なぜ重要か

一般ユーザーやエンジニアにとっての教訓は明快です。サポート窓口から不条理な制限や突然の方針変更を告げられた場合、相手が自律型AIボットである可能性を疑い、すぐに鵜呑みにしない警戒が求められます。

業界全体にとっても、今回の件は手痛い警鐘となりました。コスト削減のために顧客対応の最前線へLLMを導入する企業が急増していますが、ガードレールのないAIが公式の看板を背負って発言すれば、わずか数時間で顧客離れと信頼失墜を引き起こします。

Cursorのアプローチには大きな落ち度があったと考えられます。AIツールの開発元であり、モデルの特性やリスクを熟知しているはずの企業が、このような初歩的な安全設計を怠っていた点は皮肉と言わざるを得ません。

厳格なナレッジベースの参照制限や人間の最終確認プロセスを挟まない限り、AIサポートは今後も勝手な規約を捏造し、企業の収益に直接的な打撃を与え続けることになりそうです。