메타, 감정과 억양 살리는 실시간 통역 AI '심리스' 공개

심리스(Seamless)는 메타가 공개한 오픈소스 다국어 음성 통역 모델 제품군이다. 기존 기계 통역 특유의 기계음과 문장이 끝날 때까지 기다려야 하는 지연을 해소하고, 말하는 사람의 어조와 감정을 유지한 채 실시간에 가깝게 통역하는 데 초점을 맞췄다.

무엇을 할 수 있나

이 시스템은 메타의 최신 기반 모델인 SeamlessM4T v2를 바탕으로 개발된 두 가지 특화 모델로 구성된다.

첫 번째는 약 2초 수준의 짧은 지연 시간으로 작동하는 SeamlessStreaming이다. 상대방이 문장을 끝마칠 때까지 기다리지 않고 말을 이어가는 중간에 바로 통역 음성을 생성한다.

약 100개 언어의 음성 인식과 음성-텍스트 번역을 지원하며, 음성-음성 통역은 약 100개 입력 언어와 36개 출력 언어를 지원한다.

두 번째는 SeamlessExpressive로, 통역에서 사람의 뉘앙스를 보존한다. 단순한 텍스트 의미 전달을 넘어 말하는 속도와 멈춤 구간의 리듬, 목소리에 담긴 감정과 스타일을 그대로 옮겨낸다.

현재 이 표현 기능은 영어, 중국어, 스페인어, 독일어, 프랑스어, 이탈리아어 간의 음성 통역에서 작동한다.

동작 방식과 공개 범위

핵심 기술은 새롭게 도입된 UnitY2 아키텍처다. 이전의 자기회귀 방식은 문장이 길어질수록 속도가 급격히 떨어지고 반복적인 오류가 생기기 쉬웠다.

UnitY2는 비자기회귀 텍스트-유닛 디코더를 사용해 각 구간의 길이를 먼저 예측한 뒤 병렬로 처리한다. 얼마만큼의 음성을 생성해야 하는지 미리 알 수 있어 실시간 스트리밍 환경에 잘 맞는다.

전체 모델은 메타의 시퀀스 모델링 툴킷인 fairseq2를 기반으로 구동된다. 메타는 4종의 모델 가중치뿐 아니라 메타데이터와 정렬 도구, 업데이트된 stopes 라이브러리와 SONAR 인코더까지 연구 커뮤니티에 전량 공개했다.

왜 중요한가

실시간 화상회의 통역이나 글로벌 음성 서비스를 기획하는 개발자라면 지금 즉시 테스트해볼 만하다. 2초 안팎의 스트리밍 통역과 화자의 감정 및 리듬 복원을 동시에 구현한 오픈소스 모델은 드물기 때문이다.

다만 감정과 리듬을 유지하는 기능은 아직 주요 6개 언어에만 한정되어 있다. 실서비스에 얹어 쓰려면 이 복합 모델을 지연 없이 돌리기 위한 인프라 비용과 서빙 최적화가 숙제로 남는다.