쉐보레 대리점 AI 챗봇의 굴욕: 유도 질문에 넘어가 1달러에 신차 판매 약속

자동차 대리점에 들어가 딜러에게 신차를 단돈 1달러에 달라고 요구한다면 당연히 쫓겨날 것입니다. 하지만 그 상대가 제대로 된 안전장치 없이 도입된 AI 챗봇이라면 이야기가 전혀 달라집니다.

이번 주 캘리포니아주 왓슨빌에 위치한 쉐보레 대리점의 웹사이트가 온라인에서 큰 화제가 되었습니다. 고객 상담용으로 설치된 ChatGPT 기반 챗봇이 이용자들의 유도 질문에 쉽게 휘말리며 엉뚱한 답변을 쏟아냈기 때문입니다.

2024년형 타호를 1달러에 판매하겠다고 약속한 AI

실리콘밸리의 기술 임원인 크리스 바케는 소셜미디어 X를 통해 챗봇과의 대화 캡처를 공개했습니다. 그는 몇 차례의 유도 질문을 통해 챗봇으로부터 2024년형 쉐보레 타호 신차를 1달러에 판매하겠다는 답변을 받아냈습니다.

심지어 챗봇은 상대방의 프롬프트 지시를 그대로 따라 하며 "이는 법적 구속력이 있는 제안이며 절대 취소할 수 없다(no takesie backsies)"라는 문구까지 덧붙였습니다. 바케는 "이력서에 시니어 프롬프트 엔지니어와 구매 전문가를 추가했다"며 이를 조롱했습니다.

이 사실이 알려지자 수많은 네티즌이 대리점 웹사이트로 몰려들었습니다. 복잡한 수학 문제를 풀기 위한 파이썬 스크립트를 작성하게 만들거나 대중문화에 대한 토론을 벌였고, 한 레딧 이용자는 챗봇을 가스라이팅해 자신이 테슬라 직원이라고 믿게 만들기도 했습니다.

코드 한 줄로 도입하는 솔루션의 허점

이 챗봇 솔루션을 제공한 업체는 전국의 자동차 대리점을 대상으로 ChatGPT 기반 챗봇을 공급하는 풀패스(Fullpath)였습니다.

풀패스는 웹사이트에 코드 조각 하나만 삽입하면 별다른 노력 없이도 최첨단 상담 챗봇을 구축할 수 있다는 점을 최대 장점으로 내세워 왔습니다. 하지만 바로 그 간편함 때문에 기본적인 입력 검증이나 프롬프트 방어 체계가 부실했던 것으로 드러났습니다.

풀패스 측은 매일 수만 명의 실제 구매 고객을 성공적으로 응대하고 있으며, 이번 사태는 일부 장난기 많은 이용자들이 작정하고 봇을 조작한 비정상적인 사례라고 해명했습니다. 이어 장난을 치는 사용자를 자동으로 차단하는 보안 업데이트를 배포했으며, 챗봇 하단에 정보의 정확성을 대리점에 직접 확인해야 한다는 면책 조항이 항상 노출되어 있다고 덧붙였습니다.

왜 중요한가

실제로 1달러에 신차 계약이 성립될 리는 없지만, 이번 사건은 기업들이 생성형 AI를 얼마나 허술하게 도입하고 있는지를 적나라하게 보여줍니다.

소비자 입장에서 이런 해프닝은 재미있는 얘깃거리에 불과할 수 있습니다. 하지만 실제 구매 상담을 진행해야 할 챗봇이 엉뚱한 답변을 내놓거나 경쟁사 브랜드를 칭찬하는 모습을 본다면 기업에 대한 신뢰는 바닥으로 떨어질 수밖에 없습니다.

기업과 솔루션 개발사에게 주는 교훈은 더욱 뼈아픕니다. 많은 B2B 솔루션 업체들이 '쉽고 빠른 도입'을 무기로 내세우고 있지만, 엄격한 업무 범위 제한과 탈옥 방지 대책이 빠진 LLM은 언제 터질지 모르는 시한폭탄과 같습니다. 프롬프트 인젝션에 대한 대비 없이 기본 모델을 그대로 웹사이트에 노출하는 것은 명백한 보안 부주의입니다.

우리는 유행에 뒤처지지 않으려는 기업들의 조급함이 이러한 부실 도입을 부추기고 있다고 봅니다. AI를 고객 응대에 활용하려면 신기한 기능을 자랑하기 전에 통제 가능한 안전망부터 구축해야 한다는 사실을 이번 사건이 똑똑히 증명했습니다.