일레븐랩스, 음성 복제 오남용에 규제 강화 검토…유명인 딥페이크 파장

단 1분 분량의 선명한 음성 녹음만 있으면, AI는 그 사람이 단 한 번도 말한 적 없는 문장을 억양과 감정까지 살려 그대로 읊어냅니다.

하지만 뉴스레터 낭독이나 오디오북 제작을 돕겠다며 나온 도구가 공개되자마자 인터넷 트롤들의 장난감으로 전락했습니다.

4chan을 뒤흔든 유명인 딥페이크 음성

월요일, AI 음성 복제 스타트업 일레븐랩스(ElevenLabs)는 최근 선보인 베타 서비스에서 '음성 복제 오남용 사례가 늘어나고 있다'고 트위터를 통해 공식 인정했습니다.

사건은 일요일 해외 익명 커뮤니티 4chan에 유명인들의 목소리를 흉내 낸 음성 파일들이 대거 올라오면서 촉발되었습니다. 게시물에는 일레븐랩스의 베타 사이트 링크가 함께 첨부되어 있었습니다.

생성된 파일들의 내용은 도를 넘었습니다. 배우 엠마 왓슨의 목소리로 히틀러의 '나의 투쟁' 구절을 읽게 하거나, 보수 논객 벤 샤피로의 음성으로 인종차별적 발언을 쏟아내는 파일이 포함되었습니다.

인기 애니메이션 '릭 앤 모티'의 주인공 릭 산체스의 음성으로 가족을 폭행하겠다고 위협하는 등 혐오와 폭력으로 얼룩진 파일들이 쏟아졌습니다.

1분의 마법과 다급해진 안전장치

일레븐랩스는 구글 출신 머신러닝 엔지니어 피오트르 밥코프스키와 팔란티어 출신 마티 스타니셰프스키가 공동 창업한 기업입니다. 이들은 이번 달 체코 벤처캐피털 크레도가 주도한 200만 달러 규모의 프리 시드 투자를 유치했습니다.

이 플랫폼의 강점은 압도적인 편의성입니다. 1분이 넘는 깨끗한 오디오 샘플만 올리면 누구나 음성을 복제할 수 있으며, 온갖 억양까지 재현해 낸다고 홍보해 왔습니다.

일레븐랩스 측은 생성된 모든 음성을 특정 이용자 계정으로 추적할 수 있다고 밝혔지만, 이미 웹에 퍼진 파일의 피해를 막기에는 역부족이었습니다.

현재 회사는 음성 복제 기능을 쓰려면 결제 수단이나 완전한 신원 인증을 요구하거나, 모든 복제 요청을 운영진이 수작업으로 검토하는 등 강력한 안전장치를 도입하겠다고 밝혔습니다.

왜 중요한가

과거 딥페이크 영상 기술이 처음 퍼졌을 때도 비동의 합성물과 악의적 조롱이 가장 먼저 등장했습니다. 오디오 딥페이크 역시 정확히 같은 길을 걷고 있으며, 제작 난도는 훨씬 더 낮습니다.

음성은 영상보다 위조 여부를 직관적으로 구별하기가 더 어렵습니다. 유명인이 아니더라도 SNS나 통화 녹음에서 1분 분량의 목소리를 추출하기는 너무나 쉽기 때문에, 일반인을 겨냥한 피싱 사기나 명예훼손 위험이 눈앞으로 다가왔습니다.

일레븐랩스가 고려 중인 신원 확인이나 수동 검토는 스타트업 입장에서 신규 이용자 유입 속도를 심각하게 깎아먹는 조치입니다. 하지만 기술을 통제 불능 상태로 방치했을 때 치러야 할 법적 대가에 비하면 불가피한 선택으로 보입니다.

우리는 생성 AI 생태계가 이제 '쉬운 접근성'만 자랑하던 단계를 지나갔다고 봅니다. 목소리와 같은 민감한 생체 데이터 기반 도구는 출시 전부터 동의 검증 절차를 설계해 두지 않으면 결국 서비스 자체가 흔들릴 수밖에 없습니다.