챗GPT 뉴스 검색의 허점: 잦은 오답에도 말투는 '자신만만'

검색 엔진을 쓸 때 가장 곤란한 순간은 결과를 못 찾는 것이 아니라, 엉뚱한 가짜 정보를 너무나 당당하게 정답인 양 내놓을 때입니다.

미국 컬럼비아대 토우 디지털 저널리즘 센터(Tow Center)의 최근 연구에 따르면, OpenAI의 챗GPT 검색 기능이 뉴스 출처를 확인하는 과정에서 매우 불안정하고 잦은 오류를 범하는 것으로 나타났습니다.

200번의 질문 중 153번 오답

연구진은 20개 주요 언론사 기사에서 발췌한 200개의 인용구를 챗GPT 검색에 입력하고, 해당 문장의 원출처를 찾아내도록 요청했습니다.

결과는 기대 이하였습니다. 챗GPT는 200번의 시도 중 무려 153번이나 일부 또는 전체가 완전히 잘못된 답변을 내놓았습니다. 오답률이 75%를 넘긴 셈입니다.

오류 자체보다 더 큰 문제는 챗GPT의 과도한 확신이었습니다.

전체 테스트 중 챗GPT가 "원문을 찾을 수 없다"고 인정하거나, "~로 보인다", "가능성이 있다" 같은 유보적 표현을 쓴 것은 단 7번에 불과했습니다. 나머지 140여 차례의 오답 상황에서는 모두 확신에 찬 어조로 가짜 출처를 지어냈습니다.

심지어 OpenAI의 웹 크롤러 접근을 차단한 언론사의 인용구 40개에 대해서도, 모른다고 답하는 대신 엉뚱한 매체를 자신 있게 둘러댔습니다. OpenAI와 공식 콘텐츠 제휴를 맺은 언론사의 기사조차 제대로 식별하지 못하는 모습을 보였습니다.

엉뚱한 매체 지목하고 표절 사이트로 연결까지

보고서에 담긴 구체적 사례들은 꽤 심각합니다.

올랜도 센티널에 실린 독자 투고란 인용구를 두고 타임지의 공식 기사 출처라고 잘못 안내하는가 하면, 뉴욕타임스의 멸종 위기 고래 관련 기사 인용구를 검색했을 때는 원본 대신 뉴욕타임스 기사를 통째로 베낀 표절 사이트 링크를 정답으로 제시하기도 했습니다.

이에 대해 OpenAI는 컬럼비아 저널리즘 리뷰를 통해 연구진이 구체적인 데이터와 방법론을 공개하지 않아 오류 대응이 어렵다고 밝혔습니다. 아울러 이번 조사는 자사 제품의 '비전형적인 테스트'라면서도 검색 결과를 계속 개선해 나가겠다고 덧붙였습니다.

왜 중요한가

학술 연구나 팩트체크를 목적으로 챗GPT 검색을 활용하려던 이용자라면 당분간 주의가 필요합니다. 신뢰할 수 있는 출처를 찾아주기는커녕 그럴듯한 거짓 정보를 내놓기 때문에, 결국 이용자가 다시 구글링을 거쳐 교차 검증해야 하는 이중고를 겪게 됩니다.

언론 생태계에도 뼈아픈 결과입니다. OpenAI는 정당한 대가를 지불하고 트래픽을 돌려주겠다며 주요 언론사와 라이선스 계약을 맺어왔습니다. 하지만 제휴사의 기사조차 분간하지 못하고 오히려 불법 복제 사이트로 트래픽을 몰아주는 모습은 기존 언론사들의 불신을 키우기 충분합니다.

인용구의 출처를 찾는 행위는 검색 엔진의 가장 기본적이고 전형적인 쓰임새입니다. 이를 두고 '비전형적 테스트'라고 해명한 OpenAI의 반응은 설득력이 떨어져 보입니다. AI가 모르는 것을 솔직히 모른다고 인정하지 못하는 한, 챗GPT 검색이 전통적인 검색 엔진을 완전히 대체하기는 어려워 보입니다.