Smallest.ai, 문장 중간 언어 전환과 감정 조절 지원하는 '라이트닝 V3' 공개

발음이 완벽하고 억양이 아무리 정확해도, 말을 섞는 순간 상대가 기계라는 사실을 알아차리는 일은 어렵지 않습니다. 문제는 발음의 정확도가 아니라, 사람이 말할 때 자연스럽게 묻어나는 미세한 멈춤과 호흡 같은 생각의 흔적이 없기 때문입니다.

음성 AI 스타트업 Smallest.ai가 대화형 에이전트에 최적화된 새로운 텍스트 음성 변환 모델 Lightning V3를 공개했습니다.

문장 중간 언어 전환과 속삭임 제어

이번 업데이트는 두 가지 버전으로 나뉩니다. 먼저 제공되는 Lightning V3.1은 영어, 스페인어, 독일어뿐 아니라 힌디어, 타밀어 등 총 15개 언어를 지원합니다. 특히 문장 중간에 언어가 섞여 나오는 혼용 표현을 자동으로 감지해 자연스럽게 이어 말하는 능력이 강점입니다. 힌글리시나 스팽글리시처럼 단어 단위로 언어가 뒤섞이는 실제 일상 대화에 유연하게 대응합니다. 단 5초에서 15초 분량의 오디오만 있으면 개인의 고유한 불규칙성까지 반영한 복제 음성을 만들어냅니다.

이어지는 Lightning V3.2는 명시적인 명령을 따르는 지시 수행 기능을 탑재했습니다. 음높이나 음량, 감정 상태를 텍스트 지시문으로 세밀하게 조절할 수 있으며, 기존 합성 방식으로는 다루기 힘들었던 작은 소리의 속삭임까지 구현할 수 있습니다. 현재 종량제 플랜과 무료 체험을 통해 바로 사용할 수 있습니다.

벤치마크에서 OpenAI를 앞섰지만 한계도 인정

대화형 환경을 가정한 Seed-TTS 평가에서 Lightning V3는 3.89의 MOS 점수와 5.38%의 단어 오류율을 기록했습니다. OpenAI의 gpt-4o-mini-tts와 자연스러움을 두고 비교한 테스트에서는 LLM 평가 기준 약 76%의 승률을 거뒀습니다.

주목할 만한 부분은 Smallest.ai가 이 성적표를 공개하면서 기존 음성 벤치마크의 수명이 다했다고 스스로 지적한 점입니다. 단어를 정확하게 읽어내는 명료성은 이미 업계가 상향 평준화되어 기본 사양이 되었기 때문에, 점수만으로는 실제 대화의 설득력을 가늠하기 어렵다는 것입니다.

실제 인간은 말을 할 때 100단어당 약 5회에서 6회 정도의 미세한 말더듬이나 머뭇거림을 보입니다. 단순히 피치 변화를 과장하고 감정을 과도하게 실어 연기하듯 말하는 음성은 점수는 높게 나올지 몰라도, 대화가 길어질수록 오히려 인위적이고 피로감을 줍니다. 진짜 자연스러움은 화려한 억양이 아니라 듣고 생각하는 과정에서 나오는 미세한 리듬에 있다는 설명입니다.

왜 중요한가

고객센터 자동화나 음성 비서를 개발하는 팀이라면 지금 당장 테스트해 볼 가치가 충분합니다. 많은 소비자가 기계적인 안내 음성을 듣자마자 통화를 끊어버리는 현실에서, 다국어 교차 발화와 10초 안팎의 빠른 음성 복제는 이탈률을 낮추는 실질적인 대안이 될 수 있습니다.

업계 전체로 보면 텍스트를 책 읽듯 읽어주는 시대를 지나, 상대방의 말을 실시간으로 들으며 반응하는 상호작용 중심으로 음성 AI의 전장이 완전히 이동했음을 보여줍니다. 발음 정확도 경쟁이 끝난 자리에 생각하는 호흡과 반응성을 누가 더 잘 흉내 내는지가 핵심 차별점이 되고 있습니다.

다만 수치를 맹신해서는 안 됩니다. OpenAI를 상대로 거둔 76% 승률은 통제된 LLM 심사 환경에서 나온 수치이며, 통신 상태나 스피커 환경에 따라 사용자가 체감하는 차이는 줄어들 수 있습니다. 속삭임이나 감정 제어 기능 역시 상위 언어 모델이 대화 흐름에 맞게 정교한 지시를 내리지 못한다면 오히려 어색한 상황을 초래할 수 있습니다.