ChatGPT의 무고한 남성 살인범 누명에 OpenAI 유럽서 제소당해

호기심에 AI에게 자신의 이름을 물었다가 끔찍한 살인범으로 지목된다면 어떨까요.

노르웨이에 사는 아르베 얄마르 홀멘(Arve Hjalmar Holmen)은 ChatGPT가 자신에 대해 어떻게 설명하는지 확인하려다 충격적인 답변을 마주했습니다. ChatGPT가 그를 자녀 두 명을 살해하고 세 번째 자녀까지 살해하려 한 혐의로 유죄 판결을 받아 노르웨이 교도소에서 21년형을 복역 중인 흉악범이라고 주장했기 때문입니다.

더 큰 문제는 이 답변이 단순한 허구에 그치지 않았다는 점입니다. ChatGPT는 홀멘의 실제 고향뿐만 아니라 자녀의 수와 성별까지 정확하게 맞췄고, 이 실제 개인정보를 날조된 영아 살해 혐의와 교묘하게 뒤섞어 출력했습니다.

조그만 면책 문구로 넘어갈 수 있나

결국 오스트리아의 권익 단체 노이브(Noyb)가 홀멘을 대리해 노르웨이 데이터보호청(Datatilsynet)에 OpenAI를 유럽연합(EU) 일반데이터보호규정(GDPR) 위반 혐의로 공식 제소했습니다.

Noyb는 규제 당국에 OpenAI에 과징금을 부과하고, 명예훼손성 출력을 즉각 삭제하며, 유사한 오류가 발생하지 않도록 모델을 개선하도록 명령할 것을 요구했습니다.

Noyb의 데이터 보호 전문 변호사인 요아킴 쇠데르베리(Joakim Söderberg)는 GDPR 규정은 매우 명확하며 개인정보는 반드시 정확해야 하고, 틀렸다면 이용자는 이를 진실에 맞게 정정할 권리가 있다고 강조했습니다.

그는 ChatGPT 하단에 챗봇이 실수를 저지를 수 있다는 조그마한 면책 문구를 띄워두는 것만으로는 결코 면죄부가 될 수 없다고 비판했습니다. 허위 사실을 마음대로 퍼뜨려 놓고 끝에 가서 이 내용이 사실이 아닐 수도 있다고 덧붙이는 식의 대응은 통하지 않는다는 지적입니다.

홀멘이 처음 해당 질문을 입력한 시점은 공식 고발장에서는 가려져 있으나, ChatGPT에 웹 검색 기능이 도입되기 전이었던 것으로 알려졌습니다. 짓궂게도 현재 같은 내용을 검색하면 이번 고발 사건을 다룬 언론 보도들이 결과로 나타납니다.

Noyb가 ChatGPT를 상대로 공식 제소에 나선 것은 이번이 두 번째입니다. 2024년 4월에는 한 공인의 생년월일을 잘못 출력한 사건으로 제소한 바 있습니다. 당시 OpenAI는 모델 내부의 잘못된 데이터를 직접 수정할 수 없으며 특정 검색어에 대해서만 차단 조치를 취할 수 있다고 항변했으나, Noyb는 부정확한 데이터를 지체 없이 삭제하거나 정정하도록 명시한 GDPR 규정 위반이라고 반박했습니다.

왜 중요한가

이번 사건은 생성형 AI의 확률적 작동 원리와 엄격한 개인정보 보호 법률이 정면으로 충돌하는 지점을 명확히 보여줍니다.

일반 이용자 입장에서 볼 때, 이러한 환각 현상은 한 개인의 삶을 송두리째 무너뜨릴 수 있는 심각한 위협입니다. 유명인의 생일이 틀리는 해프닝과 달리, 실제 가족 관계와 거주지 정보에 패륜적인 중범죄 혐의가 결합되면 주변 사람들은 진위를 가리기 어렵습니다. 아무 잘못도 없는 개인이 AI가 뱉어낸 거짓말을 해명하기 위해 엄청난 고통을 떠안아야 하는 셈입니다.

AI 산업 전체로 보더라도 OpenAI의 기존 방어 논리는 한계에 부딪힌 것으로 보입니다. 거대언어모델은 가중치에 정보가 녹아 있어 특정 오류만 집어내 교정하기 어렵다 보니, 테크 기업들은 특정 키워드를 가리는 땜질식 필터링에 의존해 왔습니다. 하지만 법적인 정정권을 단순 차단으로 대체하려는 시도는 규제 당국의 눈높이를 맞추기 어렵습니다.

우리는 화면 하단의 작은 경고 문구 하나로 법적 책임을 회피하던 관행이 더 이상 통하기 어려울 것이라고 봅니다. 노르웨이나 EU 규제 당국이 프롬프트 차단만으로는 GDPR 요건을 충족하지 못한다고 결론 내릴 경우, OpenAI를 비롯한 AI 개발사들은 모델 구조와 데이터 학습 방식을 근본적으로 뜯어고치지 않는 한 유럽 시장에서 천문학적인 벌금과 퇴출 위기에 직면하게 될 것입니다.