대학생 2명이 무자본으로 개발한 오픈소스 음성 AI '디아' 공개…일레븐랩스 능가

디아(Dia)는 한국 스타트업 나리랩스(Nari Labs)가 공개한 16억(1.6B) 파라미터 규모의 오픈소스 텍스트-음성 변환 모델이다. 값비싼 상용 API 없이도 고도로 자연스럽고 감정이 실린 대화형 음성을 생성할 수 있다.

그동안 일레븐랩스(ElevenLabs)의 구독료를 내고 있었거나 구글 노트북LM(NotebookLM)의 자연스러운 팟캐스트 대화에 감탄했던 사용자라면 주목할 만한 결과물이다.

무엇을 할 수 있나

디아의 가장 큰 강점은 비언어적 표현과 감정선의 섬세한 제어 능력이다.

기존 음성 합성 모델은 대본 속 웃음소리나 한숨 같은 지문을 글자 그대로 읽어버리거나 기계적인 소음으로 처리하는 한계가 있었다. 디아는 다중 화자 태그를 기본 지원해 한 번의 생성으로 자연스러운 인물 간 대화를 구현한다.

감정 톤 조절뿐만 아니라 웃음, 기침, 비명 등 실제 대화에서 발생하는 비언어적 신호를 원활하게 오디오로 변환해 낸다.

나리랩스가 진행한 비교 테스트에 따르면, 디아는 발화 타이밍, 감정 표현력, 비언어적 스크립트 처리 능력 전반에서 대표 상용 서비스인 일레븐랩스 스튜디오와 오픈소스 모델인 세사미 CSM-1B를 능가하는 결과를 보였다.

어떻게 만들었나

놀라운 점은 이 모델을 만든 주인공이 전문적인 AI 개발 경험이 거의 없는 두 명의 학부생이며, 외부 투자 유치도 전혀 없었다는 사실이다.

개발진은 구글 노트북LM의 음성 오버뷰 기능에서 영감을 받아 누구나 쓸 수 있는 오픈소스 모델로 이를 재현하고자 했다.

막대한 연산 비용 문제를 해결하기 위해 구글의 TPU 리서치 클라우드 프로그램을 신청해 학습용 컴퓨팅 자원을 확보했고, 이를 통해 1.6B 모델을 학습시켰다.

나리랩스 창업자인 토비 김(Toby Kim)은 모델 공개에 그치지 않고, 디아를 기반으로 소셜 콘텐츠 제작 및 리믹스를 위한 일반 사용자용 앱을 개발할 계획이라고 밝혔다.

왜 중요한가

1인 개발자나 콘텐츠 크리에이터라면 디아를 눈여겨볼 필요가 있다. 극적인 감정 연기나 대화형 오디오를 구현하려면 고가의 폐쇄형 API에 의존해야 했지만, 잘 훈련된 1.6B 오픈소스 모델로도 이에 필적하는 품질을 낼 수 있음이 증명됐다.

우리는 이번 성과가 기술 장벽의 붕괴를 상징적으로 보여준다고 본다. 자본이 없는 학부생들이 공개 연구 지원 프로그램을 활용해 수억 달러 가치의 유니콘 기업 핵심 제품과 맞먹는 기술을 구현해 냈다. 개인 빌더가 거대 AI 연구소를 위협할 수 있는 시대가 이미 시작됐다.