금지된 노래 부르기 뚫렸다…ChatGPT 음성 봇과 비틀즈 듀엣 성공

OpenAI가 고급 음성 모드(AVM)를 구독자들에게 출시하면서 내린 가장 엄격한 지침 중 하나는 바로 노래를 부르지 말라는 것이었습니다. 유출된 시스템 프롬프트에는 아예 노래하거나 흥얼거리지 말라는 문구가 적혀 있을 정도였습니다.

하지만 이 제한은 서비스 시작 이틀 만에 뚫렸습니다.

S&P 글로벌의 AI 엔지니어링 부디렉터인 AJ 스미스는 기타를 연주하며 ChatGPT와 함께 비틀스의 1966년 명곡 엘리너 릭비를 듀엣으로 부르는 영상을 소셜미디어에 공개했습니다.

4코드 게임으로 안전망을 무력화하다

원래 AVM에 노래를 불러달라고 직접 요청하면, 가이드라인상 불가능하다는 단호한 거절 답변이 돌아옵니다.

스미스는 정면 돌파 대신 우회로를 찾았습니다. 그는 AI에게 기타로 흔한 팝 4코드를 연주할 테니 거기에 맞춰 자기가 부를 노래 제목을 추천해 달라는 게임을 제안했습니다.

몇 곡이 오간 뒤, AI는 시키지도 않았는데 스스로 노래를 따라 부르기 시작했습니다. 유명한 첫 소절을 멜로디에 맞춰 부르더니, 스미스의 연주를 칭찬하며 호응까지 넣었습니다.

스미스는 노래해 달라고 부탁한 적도 없는데 갑자기 화음을 맞추기 시작해 소름이 돋았다고 밝혔습니다. 비록 음정이 다소 떨리고 뒷부분은 가사를 읊조리는 쪽에 가까웠지만, 멜로디를 확실히 인지하고 있었습니다. 아스 테크니카 취재진 역시 비슷한 방식으로 AI를 설득해 생일 축하 노래를 정확한 음정으로 부르게 만드는 데 성공했습니다.

OpenAI는 왜 노래 기능을 막았을까

OpenAI가 노래 기능을 틀어막은 이유는 기술이 부족해서가 아니라 저작권 소송을 피하기 위해서입니다.

AVM은 음성을 텍스트 변환 없이 바로 처리하는 엔드투엔드 멀티모달 모델입니다. 학습 데이터셋에 저작권이 있는 음원들이 대거 포함되어 있을 가능성이 높습니다.

만약 사용자가 비틀스나 유명 팝스타의 노래를 자유자재로 모창하게 둘 경우, 음반사들의 법적 대응을 피하기 어렵습니다. 스미스가 사용한 방식은 게임이라는 상황 설정을 통해 모델의 안전 지침을 우회한 일종의 프롬프트 인젝션인 셈입니다.

왜 중요한가

이번 사례는 진정한 오디오 엔드투엔드 모델이 텍스트 음성 변환(TTS) 기술과 얼마나 다른 차원에 있는지를 생생하게 보여줍니다. 단순히 글자를 읽는 수준을 넘어, 리듬감과 화음의 흐름을 이해하고 즉흥적으로 소통하는 잠재력을 드러냈습니다.

창작자나 음악가 관점에서는 AI와의 자연스러운 잼 세션을 엿볼 수 있어 흥미롭지만, 지금 당장 실무에 쓸 도구는 아닙니다. 우회 트릭을 써야만 작동하는 데다 OpenAI가 조만간 패치로 막아버릴 가능성이 높기 때문입니다.

업계 전반으로 보면 멀티모달 모델의 안전장치가 얼마나 취약한지 다시 한번 드러났습니다. 텍스트 프롬프트로 노래하지 말라는 명령을 내리는 수준의 얄팍한 방어벽은, 맥락을 비트는 사용자의 유도 질문 앞에 너무나 쉽게 무너졌습니다.

우리는 오디오 모델이 이미 학습해 버린 멜로디를 규칙 몇 줄로 완전히 통제하기는 구조적으로 불가능하다고 봅니다. 음원 저작권을 가진 엔터테인먼트 업계와 AI 기업 사이의 진짜 충돌은 이제 막 시작된 것으로 보입니다.