블록, 텍스트 없이 귀로만 대화 배운 음성 모델 '데사' 공개

지금까지의 AI 음성 대화는 어딘가 늘 딱딱했습니다. 인간의 목소리를 텍스트로 바꾸고, 거대언어모델(LLM)이 글자로 답변을 짜낸 뒤, 다시 음성으로 읽어주는 3단계 구조 탓에 목소리에 담긴 감정과 호흡이 중간에서 모조리 증발해 버렸기 때문입니다.

잭 도시가 이끄는 블록(Block)의 연구팀이 10월 24일 공개한 실시간 음성 모델 '데사(Dessa)'는 이 구조를 근본부터 뒤집었습니다. 텍스트 변환이나 기존 사전학습 모델의 도움을 전혀 받지 않고, 갓난아기가 말을 배우듯 오직 사람들의 음성 대화 데이터만을 귀로 듣고 학습해 대화법과 감정 표현을 터득했습니다.

텍스트 없이 귀로만 익힌 웃음과 울먹임

블록은 공식 블로그를 통해 기존 음성 AI가 텍스트에만 의존하면서 풍부한 감정 정보를 버리는 비효율적이고 답답한 구조를 갖고 있다고 비판했습니다. 일레븐랩스 v4나 피시 오디오 드라마 3 같은 모델이 텍스트 태그를 통해 감정을 인위적으로 제어하는 반면, 데사는 음성 데이터 자체에서 감정 표현을 내재적으로 학습했습니다.

데사는 오픈AI의 GPT-Live처럼 듣기와 말하기가 동시에 이뤄지는 전이중(Full-duplex) 방식을 지원합니다. 상대방이 말하는 도중 끼어들거나 맞장구를 칠 수 있고, 맥락에 맞춰 자연스럽게 웃거나 한숨을 쉬며, 심지어 울먹이는 목소리까지 냅니다. 공개된 데모에서는 마이크와 거리가 먼 사용자에게 "목소리가 잘 안 들리니 조금만 가까이 와달라"고 자연스럽게 부탁하기도 했습니다.

효율성도 인상적입니다. 블록 측 설명에 따르면 이 모델은 엔비디아 GP200 GPU 랙 한 대만으로 훈련되었으며, M4 Max 칩을 탑재한 맥북 등 일반 소비자용 PC에서도 로컬 구동이 가능합니다. 다만 일반 대중에게는 공개되지 않았으며, 보이스 피싱 등 악용 위험을 점검하기 위해 현재는 AI 안전 연구자들을 대상으로만 테스트 신청을 받고 있습니다.

왜 중요한가

우리는 데사가 보여준 '텍스트 없는 음성 학습'이 음성 인터페이스 경쟁에서 매우 영리한 기술적 전환점이라고 평가합니다.

사용자와 기업 입장에서는 고비용 클라우드 API에 기대지 않고 개인용 기기에서 바로 돌아가는 자연스러운 음성 비서가 열리는 셈입니다. 특히 결제 서비스 스퀘어(Square)를 운영하며 소상공인 주문 자동화에 공을 들이는 블록 입장에서는, 단말기 로컬에서 저렴하게 사람 같은 주문 접수원을 돌릴 수 있는 강력한 무기를 쥐게 됩니다.

하지만 명확한 한계와 위험도 공존합니다. 대화 녹음 음성만으로 지식을 습득했기 때문에 방대한 텍스트 코퍼스를 학습한 기존 LLM 수준의 복잡한 논리 추론이나 전문 지식 검색을 해내기는 어려워 보입니다. 더욱이 숨소리와 감정 기복까지 진짜 사람과 구분하기 어려울 정도로 모사한다는 점은 보이스 피싱과 사회공학적 해킹의 위험을 크게 높입니다. 블록이 일반 출시를 미루고 안전 연구진에게 먼저 문을 연 것은 반드시 거쳐야 할 조치로 보입니다.