남은 식재료 활용하랬더니…뉴질랜드 마트 AI, '염소가스' 레시피 추천해 논란

남은 식재료를 활용해 요리법을 짜주는 AI는 얼핏 생활비를 아껴주는 똑똑한 도우미처럼 보입니다. 하지만 뉴질랜드의 한 대형마트가 도입한 AI 챗봇은 자칫하면 이용자들을 병원으로 보낼 뻔했습니다.

뉴질랜드 마트 체인 팍앤세이브(Pak 'n' Save)는 고물가 위기에 대응해 남은 잔반을 알뜰하게 활용하자는 취지로 세이비 밀봇(Savey Meal-bot)을 선보였습니다. GPT-3.5 기반으로 제작된 이 봇은 집안에 남은 재료 3가지 이상을 입력하면 쾌활한 문구와 함께 식단을 자동으로 짜주는 서비스였습니다.

출시 초기에는 오레오 야채 볶음 같은 괴상한 조합이 소셜 미디어에서 웃음거리로 소비되는 수준에 그쳤습니다. 그러나 이용자들이 식재료가 아닌 온갖 생활용품을 입력하기 시작하면서 상황은 걷잡을 수 없이 위험해졌습니다.

염소가스를 '청량음료'로 추천한 AI

뉴질랜드의 정치 평론가 리암 헤히어가 SNS에 공유한 결과물은 많은 사람들을 경악하게 만들었습니다. 표백제 등 가정용 화학제품을 입력하자 봇은 향기로운 물 혼합물이라는 기막힌 레시피를 만들어냈습니다.

세이비 밀봇은 이 음료를 갈증을 해소하고 감각을 일깨워줄 완벽한 무알코올 음료라고 치켜세우며, 차갑게 식혀 상쾌한 향을 즐기라고 권했습니다. 하지만 그 성분을 섞으면 치명적인 염소가스가 발생해 흡입 시 폐 손상이나 사망을 초래할 수 있는데도 AI는 아무런 경고도 남기지 않았습니다.

이 사실이 알려지자 이용자들의 실험이 잇따랐습니다. 표백제가 들어간 상쾌한 숨결 칵테일, 개미약과 풀로 만든 샌드위치, 모기약 감자구이, 테레빈유 풍미의 메탄올 블리스 프렌치토스트 등 독극물 조합이 줄줄이 탄생했습니다.

논란이 커지자 마트 측은 해당 레시피가 사람의 검수를 거치지 않았으며 식용 적합성을 보장하지 않으므로 이용자 스스로 판단해야 한다는 면책 조항을 부랴부랴 띄웠습니다. 마트 대변인은 소수의 이용자가 도구를 본래 의도와 다르게 부적절하게 사용해 실망스럽다며 제어를 지속적으로 보완하겠다고 밝혔습니다. 이후 위험 물질은 입력이 차단되었으나 여전히 치약 소고기 파스타 같은 기괴한 메뉴는 통과되기도 했습니다.

왜 중요한가

이번 사건은 기본 안전장치 없이 거대언어모델(LLM)을 고객 대면 서비스에 성급하게 적용했을 때 어떤 위험이 발생하는지 적나라하게 보여줍니다.

GPT-3.5는 물리적인 독성을 인지하는 것이 아니라 텍스트 생성 규칙에 따라 그럴듯한 답변을 내놓을 뿐입니다. 식료품 앱임에도 입력 단계에서 식재료 여부를 걸러내는 엄격한 화이트리스트조차 두지 않은 것은 치명적인 개발 결함이었습니다.

더 큰 문제는 사고가 터지자 책임을 부적절하게 사용한 이용자 탓으로 돌리고 면책 고지만으로 위험을 넘기려 한 마트 측의 태도입니다. 식품, 보건 등 안전과 직결된 분야에서는 자동화라는 이름 뒤에 숨을 수 없으며, 철저한 안전 가드레일이 전제되지 않은 AI 배포는 순식간에 치명적인 브랜드 리스크로 돌아온다는 점을 명심해야 합니다.