FlashLabs, 실시간 음성 대화 모델 'Chroma 1.0' 오픈소스 공개…음성 복제 지원

Chroma 1.0은 FlashLabs가 오픈소스로 공개한 약 4B 파라미터 규모의 엔드투엔드 실시간 음성 대화 모델입니다. 음성 인식(STT), 거대언어모델(LLM), 음성 합성(TTS)을 단계별로 거치던 기존 방식을 벗어나 음성을 직접 듣고 바로 말하는 구조를 갖췄습니다.

무엇을 할 수 있나

Chroma 1.0은 멀티모달 인과 언어 모델로 동작합니다. 사용자의 오디오 입력을 직접 이해하고, 답변 텍스트와 합성 음성을 동시에 생성하여 자연스러운 실시간 대화를 지원합니다.

개인화 음성 복제 기능도 기본 탑재되어 있습니다. 대화 입력 시 짧은 참조 음성과 텍스트 프롬프트를 함께 전달하면, 해당 화자의 목소리 톤과 발화 스타일을 반영해 답변 음성을 합성해 냅니다.

라이선스는 상업적 활용과 연구에 자유로운 아파치 2.0(Apache-2.0)으로 공개되었습니다.

구조와 실행 방법

모델 아키텍처는 검증된 오픈소스 컴포넌트들을 유기적으로 결합했습니다. 추론 핵심 엔진은 Qwen2.5-Omni-3B를 기반으로 하며, 백본은 16개 레이어의 Llama 3, 디코더는 4개 레이어의 Llama 3 구조를 채택했습니다. 음성 코덱으로는 24kHz 샘플링 레이트를 지원하는 Mimi를 사용합니다.

실행 환경 구축도 간단합니다. 모델 가중치는 허깅페이스(FlashLabs/Chroma-4B)에 등록되어 있으며, 구글 코랩과 캐글 노트북 예제도 제공됩니다.

파이토치와 트랜스포머 라이브러리만 설치되어 있으면 AutoModelForCausalLM과 AutoProcessor를 통해 즉시 불러올 수 있으며, 생성된 토큰을 코덱으로 디코딩해 24kHz 오디오로 바로 들을 수 있습니다.

왜 중요한가

단계별 파이프라인 방식은 지연 시간이 길고 음성에 담긴 억양과 감정 정보가 유실되기 쉽습니다. 4B 크기의 가벼운 엔드투엔드 음성 모델이 오픈소스로 나오면서, 개인 개발자도 고성능 음성 에이전트를 자체 환경에서 구축할 수 있는 길이 열렸습니다.

현재 지원 언어가 영어로 한정되어 있다는 점은 아쉽지만, 영어 기반의 보이스 에이전트나 음성 복제 기능이 필요한 가상 인간 프로젝트를 준비 중인 개발자에게는 즉시 검토해 볼 만한 도구입니다.