프랑스 큐타이, 지연 시간 200ms 오픈소스 음성 AI '모시' 공개

모시(Moshi)는 프랑스 비영리 AI 연구소 큐타이(Kyutai)가 개발한 오픈소스 실시간 음성 AI입니다. 200밀리초(ms) 수준의 초저지연을 구현해 인간과 대화하듯 지연 없이 실시간으로 말을 주고받을 수 있으며, 노트북 로컬 환경에서도 단독 구동됩니다.

연구원 8명이 단 6개월 만에 바닥부터 구축한 모델로, 텍스트 변환을 거치는 기존의 다단계 방식 대신 음성을 직접 처리해 '말하면서 동시에 생각하는' 방식을 구현했습니다.

어떤 기능을 제공하나

모시의 가장 큰 특징은 두 개의 오디오 스트림을 동시에 처리하는 능력입니다. 즉, AI가 말을 하는 도중 사용자가 끼어들거나 말을 끊어도 자연스럽게 알아듣고 반응할 수 있어 실제 사람과의 대화에 가까운 상호작용이 가능합니다.

70가지의 다양한 감정과 말투, 여러 억양을 구사할 수 있으며, 전문 성우와의 협업을 통해 미세한 어조 변화까지 살려냈습니다. 대화 중에는 음성과 함께 화면에 텍스트도 동시에 표시됩니다.

텍스트 데이터 대신 주석이 달린 음성 데이터를 직접 학습에 사용했고, 10만 건의 합성 대화 데이터로 미세 조정을 거쳤기 때문에 미묘한 뉘앙스와 톤을 직접 이해합니다.

실행 환경과 공개 범위

모시는 CPU, 엔비디아 CUDA, 애플 메탈(Metal) 백엔드를 모두 지원합니다. 일반적인 노트북 같은 기기에서 인터넷 연결 없이 로컬로 구동할 수 있어, 민감한 개인정보나 대화 내용이 외부 서버로 전송되지 않습니다.

큐타이는 모시의 코드와 프레임워크를 매우 자유로운 오픈소스 라이선스로 완전 무료 공개할 방침입니다. 음성 악용을 막기 위한 AI 음성 워터마킹 및 서명 추적 시스템도 함께 탑재될 예정입니다.

왜 중요한가

빅테크들이 폐쇄형 생태계 안에서 실시간 음성 기능을 제한적으로 선보이는 사이, 단 8명의 연구진이 200ms 지연 시간의 실시간 음성 모델을 오픈소스로 풀어냈다는 점이 인상적입니다.

고객 지원 봇이나 온디바이스 음성 비서를 구축하려는 개발자에게 모시는 인터넷 없이도 즉시 도입해 볼 수 있는 최고의 오픈소스 대안입니다. 관건은 본격적으로 공개된 이후 로컬 기기에서의 복잡한 맥락 추론 성능이 얼마나 받쳐줄지입니다.