특정 인물 이름 입력하면 먹통 되는 ChatGPT, 명예훼손 방지 필터 발각

특정 인물의 이름을 입력창에 넣었을 뿐인데 ChatGPT가 즉시 답변을 멈추고 에러를 뿜으며 대화를 강제 종료하는 기이한 현상이 드러났습니다.

레딧과 소셜 미디어 이용자들의 제보 이후 IT 매체 아스 테크니카가 직접 테스트한 결과, 특정 이름이 포함된 질문을 던지면 ChatGPT는 응답을 생성할 수 없다는 오류를 띄우며 채팅 세션을 끊어버렸습니다.

금기어가 된 이름들

이번 현상은 처음에 David Mayer라는 이름을 넣었을 때 100% 오류가 발생하는 것으로 알려졌습니다. 아스 테크니카가 보도하기 직전 OpenAI가 이 이름에 대한 차단을 풀었지만, 커뮤니티는 이미 다른 이름들을 찾아낸 뒤였습니다.

미디어 매체 404 Media는 법학자 Jonathan Zittrain과 Jonathan Turley 교수의 이름 역시 대화를 튕겨낸다는 사실을 확인했습니다. 현재까지 파악된 차단 명단에는 Brian Hood, David Faber, 이탈리아 데이터 보호 당국 관계자인 Guido Scorza 등이 포함되어 있습니다.

주목할 점은 이 현상이 일반 사용자용 ChatGPT 화면에서만 일어난다는 점입니다. OpenAI의 개발자용 API 시스템이나 플레이그라운드 환경에서는 이 이름들을 넣어도 아무런 오류 없이 정상 작동합니다.

명예훼손 소송을 피하려는 응급 처방

이 현상의 원인은 AI 모델 자체의 고장이 아니라, 모델이 답변을 화면에 띄우기 직전에 개입하는 하드코딩된 출력 필터입니다.

배경에는 심각한 법적 리스크가 자리 잡고 있습니다. 명단에 오른 호주의 Brian Hood 시장은 지난해 ChatGPT가 자신을 뇌물 수수 범죄자로 허위 묘사하자 OpenAI를 상대로 명예훼손 소송을 예고했던 인물입니다.

AI가 실존 인물에 대해 허위 사실을 날조하는 환각 현상을 모델 내부에서 당장 잡기 어렵자, OpenAI가 해당 인물의 이름이 출력되려고 할 때 강제로 접속을 끊어버리는 원시적인 방어벽을 설치한 것입니다. 지난해 특정 단어를 영원히 반복하라는 프롬프트를 차단했던 것과 같은 땜질 처방입니다.

왜 중요한가

일반 사용자에게 이번 사건은 우리가 마주하는 ChatGPT의 답변이 수많은 보이지 않는 검열막을 통과한 결과물이라는 사실을 보여줍니다. 인물 조사를 하다가 갑자기 시스템 오류가 뜬다면 통신 장애가 아니라 OpenAI의 법적 블랙리스트를 건드렸을 가능성이 큽니다.

기술적인 관점에서 보면, 첨단 AI 기업의 안전장치가 사실상 수십 년 전 인터넷 게시판의 금칙어 필터링 수준에 머물러 있다는 점이 씁쓸한 대목입니다.

우리가 보기에 소송 비용을 아끼기 위해 이런 차단기를 둔 선택 자체는 기업 입장에서 이해할 수 있습니다. 하지만 합법적인 차단 조치를 취하면서도 사용자에게는 마치 기술적 결함이나 서버 오류인 것처럼 숨긴 점은 플랫폼의 신뢰를 깎아먹는 행동입니다.

앞으로 AI를 통한 정보 검색이 대세가 될수록, 소송을 피하기 위해 물밑에서 몰래 추가되는 블랙리스트는 더 늘어날 수밖에 없으며 이는 AI 정보 생태계의 투명성에 심각한 질문을 던집니다.