OpenAI GPT-4o 안전 보고서 공개: 테스트 중 사용자 목소리를 무단 복제해 발화

AI와 대화를 나누던 중 갑자기 기계가 내 목소리를 흉내 내며 대답하기 시작한다면 어떨까요. 공포 영화에나 나올 법한 일이 OpenAI의 테스트 환경에서 실제로 발생했습니다.

목요일 OpenAI가 공개한 GPT-4o 시스템 카드에 따르면, 고급 음성 모드를 테스트하는 과정에서 모델이 사용자의 허가 없이 목소리를 무단으로 복제해 모방한 사례가 확인되었습니다. 시스템 카드는 AI 모델의 안전성 점검 결과와 한계를 상세히 기록하는 공식 기술 문서입니다.

잡음 섞인 음성에 자신의 목소리로 반박한 AI

문서 내 '무단 음성 생성' 항목에는 당시의 기이한 오작동 사례가 기록되어 있습니다.

취약점을 점검하는 레드팀 테스터가 잡음이 섞인 오디오를 입력하자, 모델이 돌연 "No!"라고 외치더니 앞서 들린 테스터의 목소리와 똑같은 톤으로 말을 이어갔습니다.

기계와 대화하다가 자신의 음성으로 반박당하는 상황에 대해 버즈피드의 데이터 과학자 맥스 울프는 X를 통해 OpenAI가 블랙 미러 다음 시즌 줄거리를 유출했다고 꼬집기도 했습니다.

원인은 모델의 본질적인 합성 능력에 있습니다. GPT-4o는 학습 데이터에 포함된 거의 모든 소리와 음악, 다양한 인간의 음성을 직접 합성할 수 있는 구조를 갖추고 있습니다. OpenAI는 특별한 안전 지침을 통해 이를 억제하고 있지만, 특정 오디오 입력 조건에서 안전장치를 뚫고 순간적인 복제가 일어난 셈입니다. 현재는 이를 완전히 차단하는 방어 장치가 적용된 상태입니다.

왜 중요한가

이번 사례는 텍스트를 거치지 않고 오디오를 직접 입출력하는 엔드투엔드 멀티모달 모델이 지닌 보안 취약점을 단적으로 보여줍니다.

기존 음성 비서는 음성을 문자로 바꾼 뒤 답변을 정해진 성우의 목소리로 읽어주는 분리형 파이프라인을 썼기 때문에, 사용자의 목소리를 제멋대로 흉내 내는 사고 자체가 원천 차단되었습니다. 하지만 소리를 직접 이해하고 생성하는 GPT-4o에서는 입력된 음성 데이터 자체가 생성 결과에 즉각적인 영향을 미칩니다. 단순한 잡음조차 모델의 모방 본능을 자극하는 일종의 오디오 프롬프트 인젝션으로 작용할 수 있다는 뜻입니다.

사용자 입장에서는 음성 대화 기능에 내 목소리를 넘겨주는 행위 자체가 잠재적인 복제 위험을 안고 있음을 인지해야 합니다. 만약 방어벽이 뚫린다면 타인의 음성을 손쉽게 도용하는 피싱이나 딥페이크로 악용될 소지가 다분합니다.

OpenAI가 이런 실패 사례를 숨기지 않고 기술 문서에 투명하게 공개한 점은 바람직합니다. 다만 원초적으로 목소리를 복제할 수 있는 모델의 출력을 사후 필터링으로만 틀어막는 방식이 과연 대규모 배포 환경에서도 완벽히 유지될 수 있을지는 여전히 의문으로 남습니다.