FlashLabs 开源 Chroma 1.0：端到端实时语音对话，自带声音克隆

Chroma 1.0 是 FlashLabs 开源的端到端实时语音对话模型，参数量约为 4B。它最大的特点是抛弃了传统的「语音识别转文字、大模型生成文字、文字再转语音」三段式流水线，直接输入音频即可实时理解并输出语音。

它能做什么

Chroma 1.0 走的是原生多模态路径。在对话过程中，它能直接处理用户的语音输入，同时生成连贯的文本回复与合成语音，不需要外挂第三方 TTS 模块。

更实用的是它自带的声音克隆功能。在发起对话时，只要随输入提供一段参考音频和对应的文本提示，模型就会以参考音频的声线和语气风格来合成回答，非常适合用于定制虚拟人形象或特定音色的人工智能语音助手。

模型采用 Apache-2.0 开源协议，无论是个人开发者还是企业研究人员，都可以免费商用或二次开发。

架构设计与怎么跑起来

根据 FlashLabs 公布的技术细节，Chroma 1.0 的架构由几个成熟模块组合而成。推理核心部分基于 Qwen2.5-Omni-3B，主干网络采用 16 层的 Llama 3 结构，解码器则是 4 层的 Llama 3，底层音频编解码器选用了支持 24kHz 采样率的 Mimi。

部署门槛也相对平民化。模型权重已经完整上传至 Hugging Face，仓库名为 FlashLabs/Chroma-4B，官方还提供了 Google Colab 与 Kaggle 笔记本。

在代码层面，它兼容常见的 Transformers 和 PyTorch 框架。通过 AutoModelForCausalLM 和 AutoProcessor 就能直接加载，处理音频输入并调用底层编解码器解码出 24kHz 音频。

为什么重要

我们认为，端到端语音交互正在迅速取代传统的串联方案。级联方案中间的转写不仅增加延迟，还会丢掉语气、情绪和停顿等大量副语言信息，而 Chroma 1.0 这类 4B 级别轻量端到端模型的开源，让个人开发者也能在本地或低成本服务器上搭建低延迟语音应用。

不过目前它的局限也很明显，官方标注语言仅支持英语，多语言对话和中文支持还需要社区后续微调。但对于想要构建英语语音 Agent 或试验实时语音克隆的开发者来说，它是一个现成且开放的好起点。