OpenAI, 15초 음성 복제 모델 '보이스 엔진' 공개… 악용 위험에 정식 출시는 보류

스마트폰에 녹음된 15초짜리 일상 음성만 있으면, AI가 내 고유의 억양과 감정을 그대로 흉내 내며 내가 한 번도 한 적 없는 말을 지어낼 수 있습니다.

OpenAI는 소량의 음성 샘플로 맞춤형 목소리를 만들어내는 Voice Engine 모델의 테스트 결과를 공개했습니다. 놀라운 성능을 입증했음에도 불구하고, OpenAI는 이 기술을 대중에 즉시 배포하지 않고 안전성을 먼저 논의하자며 문을 걸어 잠갔습니다.

15초 녹음으로 목소리를 복제하다

Voice Engine의 작동 조건은 단순합니다. 텍스트 입력과 단 15초 분량의 화자 음성 샘플 하나만 주어지면, 원본과 매우 흡사하고 감정이 살아 있는 자연스러운 음성을 즉시 합성해 냅니다.

OpenAI는 이미 2022년 말에 이 모델을 완성했습니다. 현재 ChatGPT의 음성 대화 기능과 소리 내어 읽기(Read Aloud), 그리고 공식 텍스트 음성 변환(TTS) API에서 들을 수 있는 기본 음성들이 모두 이 기술로 구동되어 왔습니다.

지난해 말부터는 엄선된 소수의 신뢰할 수 있는 파트너들과 함께 비공개 테스트를 진행했습니다.

교육 기업 Age of Learning은 GPT-4와 결합해 아이들과 상호작용하는 교육 콘텐츠를 제작했고, 영상 플랫폼 HeyGen은 영상 번역에 도입했습니다. 프랑스어 화자의 목소리로 영어를 생성하면 특유의 프랑스식 악센트가 그대로 묻어나는 수준입니다.

의료 현장에서도 놀라운 성과를 거뒀습니다. 브라운 대학교 의대 제휴 연구진은 뇌종양으로 언어 능력을 상실한 젊은 환자를 위해 과거 학교 과제 영상에 남아 있던 짧은 음성을 추출해 원래 목소리를 복원해 냈습니다. 보완대체의사소통(AAC) 앱 Livox는 언어 장애인에게 기계음이 아닌 자연스러운 목소리를 제공하고 있습니다.

딥페이크 위협과 음성 인증 무용론

기술의 잠재력이 분명한데도 전면 출시를 미루는 이유는 전 세계적인 선거 국면과 맞물린 악용 가능성 때문입니다. 악의적인 세력이 유명인이나 지인의 목소리를 15초 만에 복제해 여론을 조작하거나 사기에 활용할 위험이 큽니다.

OpenAI는 테스트 파트너들에게 엄격한 조건을 걸었습니다. 원 화자의 명시적 동의 없이는 복제를 금지하고, 일반 사용자가 직접 목소리를 복제하는 인터페이스 개발을 막았으며, 합성 음성임을 밝히고 디지털 워터마크를 의무적으로 삽입하도록 했습니다.

나아가 OpenAI는 은행 등 금융권에 계좌 접근용 음성 생체 인증을 즉시 단계적으로 폐지하라고 경고했습니다. 목소리로 본인을 확인하는 보안 체계는 더 이상 안전하지 않다는 뜻입니다.

왜 중요한가

창작자와 언어 재활이 필요한 환자에게 15초 음성 복제는 삶의 질을 바꾸는 기술입니다. 스튜디오에서 몇 시간씩 녹음하지 않아도 자신의 목소리를 다국어로 보존하고 소통 장벽을 허물 수 있기 때문입니다.

하지만 일반 사용자가 지금 당장 이 기능을 써볼 수는 없습니다. 이번 발표는 기술적 우위를 과시하는 동시에, 선거철 딥페이크 논란에서 윤리적 면책권을 선점하려는 OpenAI의 영리한 계산이 깔려 있습니다.

문제는 오픈소스 생태계와 후발 주자들이 머지않아 동일한 수준의 모델을 아무런 워터마크나 동의 절차 없이 공개할 것이라는 점입니다. OpenAI가 기술을 통제한다고 해서 흐름을 완전히 막을 수는 없습니다.

우리는 이번 발표가 전 세계에 보내는 강력한 경고장이라고 봅니다. 목소리는 이제 더 이상 개인을 증명하는 생체 비밀번호가 될 수 없으며, 금융과 공공 시스템의 인증 방식을 근본적으로 뜯어고쳐야 할 시점입니다.