오픈AI 음성 전사 모델 '위스퍼', 테스트 80%서 허위 생성 환각 확인돼

회의 녹음 파일을 텍스트로 바꿀 때 단어 몇 개 틀리는 정도는 누구나 흔히 겪는 일입니다. 하지만 AI가 오디오 어디에도 없는 인종차별 발언을 멋대로 지어내거나, 환자 진료 기록에 존재하지도 않는 치료법을 써넣는다면 이야기가 완전히 달라집니다.

OpenAI의 오픈소스 음성 인식 도구인 Whisper에서 이처럼 심각한 환각 현상이 광범위하게 발생하고 있다는 사실이 드러났습니다. AP통신 보도에 따르면 다수의 연구자와 엔지니어들은 Whisper가 말을 지어내는 빈도가 위험할 정도로 높다고 지적했습니다.

미시간 대학교의 한 연구원이 공공 회의 오디오를 분석한 결과, 점검한 녹취록 10개 중 8개에서 환각이 발견되었습니다. 100시간 분량의 기록을 검토한 다른 엔지니어는 약 50%에서 지어낸 문장을 확인했고, 또 다른 개발자는 자신이 생성한 2만 6000건의 녹취록 거의 전부에서 조작된 텍스트를 발견했다고 밝혔습니다.

선명한 음성에서도 터져 나오는 조작 문장

연구진은 음성 변환 AI 도구 가운데 Whisper처럼 환각이 심한 사례는 본 적이 없다고 입을 모았습니다. 잡음이 많거나 긴 오디오뿐만 아니라, 짧고 깨끗하게 녹음된 음성 파일에서도 엉뚱한 문장이 튀어나왔습니다.

인터뷰에 응한 엔지니어들은 Whisper가 단순 오타를 내는 수준을 넘어 완전한 문장을 창작해 냈으며, 심지어 폭력적 표현이나 인종차별적 논평, 가짜 의료 처방까지 포함되어 있었다고 확인했습니다.

더 큰 문제는 Whisper가 이미 통제하기 어려울 정도로 널리 쓰이고 있다는 점입니다. 일부 ChatGPT 버전을 비롯해 콜센터 시스템, 음성 비서, 오라클 및 마이크로소프트의 클라우드 플랫폼에 기본 탑재되었으며, 지난달 허깅페이스에서만 420만 건 이상 다운로드되었습니다.

특히 의료 현장에서 환자와 의사 간의 상담 내용을 기록하는 데 Whisper 기반 도구를 도입하는 사례가 늘고 있어 우려가 커지고 있습니다. 고등연구소의 알론드라 넬슨 교수는 누구도 오진을 원하지 않는다며 위험성을 경고했습니다.

청각 장애인들에게도 치명적입니다. 갤러뎃 대학교의 크리스찬 포글러 교수는 정상적인 텍스트 사이에 교묘하게 숨어 있는 AI의 거짓말을 청각 장애인이 스스로 알아채는 것은 불가능하다고 지적했습니다.

OpenAI는 Whisper가 인간 수준의 정확도에 근접한다고 홍보하면서도, 고위험 의사결정 영역에서는 사용하지 말라고 권고해 왔습니다. 대변인은 환각을 줄이기 위한 연구를 지속하고 있으며 피드백을 모델 업데이트에 반영하겠다고 해명했습니다.

왜 중요한가

음성 인식은 생성형 AI 중에서도 가장 안정적이고 단순한 기록 도구로 여겨져 왔습니다. 챗봇처럼 말을 꾸며낼 리는 없다는 막연한 신뢰가 있었지만, Whisper의 이번 결함은 그 전제를 무너뜨렸습니다.

일반 사용자 입장에서 단순 인터뷰나 일상 미팅을 정리할 때는 여전히 유용하겠지만, 사람의 검수 없이 결과물을 그대로 통과시키는 자동화 파이프라인에 Whisper를 도입하는 것은 지금으로선 매우 위험하다고 봅니다.

업계 전반에도 던지는 경고가 큽니다. 비용을 아끼기 위해 오픈소스 음성 모델을 성급하게 인프라에 결합하고 있지만, 입력 단계인 음성 텍스트부터 오염되면 뒤따르는 모든 분석과 의사결정이 도미노처럼 왜곡될 수밖에 없습니다.

OpenAI가 고위험 영역 사용 자제를 경고문으로만 남겨두고 정작 정확성을 내세워 배포를 확산시킨 방식은 현장의 오남용을 막기에 역부족으로 보입니다. 음성 입력에 완벽히 고정되지 않는 환각 메커니즘을 기술적으로 해결하지 못한다면, 시장 점유율이 높아질수록 감당해야 할 책임도 그만큼 불어날 것입니다.