큐타이, 화자 목소리 유지하는 실시간 동시통역 AI '히비키' 공개

기존의 실시간 음성 번역은 화자 특유의 목소리와 감정을 지워버리고 기계적인 기본 음성으로 대체하는 경우가 많았습니다.

프랑스 AI 연구소 큐타이(Kyutai)가 2월 6일 동시 음성 번역 AI 모델인 히비키(Hibiki)를 공개했습니다. 현재는 프랑스어에서 영어로의 번역을 지원합니다.

화자의 목소리를 유지하며 실시간 동시통역

히비키는 입력된 음성을 실시간으로 처리해 번역된 영어 음성과 텍스트를 동시에 생성합니다.

가장 큰 특징은 원본 화자의 목소리 톤을 그대로 보존한다는 점입니다.

또한 원문의 의미와 맥락에 맞춰 번역 음성의 속도와 호흡을 자연스럽게 조절합니다.

큐타이가 공개한 객관적 지표와 블라인드 평가 결과에 따르면, 히비키는 번역 품질, 자연스러움, 화자 유사도 전반에서 기존 시스템을 앞질렀으며 전문 통역사에 근접한 성능을 보였습니다.

왜 중요한가

기존 음성 번역은 음성 인식, 텍스트 번역, 음성 합성 단계를 차례로 거치며 지연 시간이 길어지고 화자의 개성이 사라지는 한계가 뚜렷했습니다.

히비키처럼 종단간 음성 간 번역 방식을 택하고 원본 목소리와 유연한 발화 템포를 지켜내는 기술은 실용적인 동시통역으로 가는 핵심 열쇠로 보입니다.

다만 현재는 프랑스어-영어 단방향만 지원하기 때문에 일반 사용자가 당장 일상에서 활용하기에는 사용 범위가 제한적입니다.

그럼에도 언어가 다른 글로벌 회의나 라이브 방송에서 자신의 목소리를 잃지 않고 소통할 수 있는 미래를 구체적으로 보여주었다는 점에서 의미가 큽니다.