FlashLabs 開源 Chroma 1.0：端到端即時語音對話，自帶聲音克隆

Chroma 1.0 是 FlashLabs 開源的端到端即時語音對話模型，引數量約為 4B。它最大的特點是拋棄了傳統的「語音識別轉文字、大模型生成文字、文字再轉語音」三段式流水線，直接輸入音訊即可即時理解並輸出語音。

它能做什麼

Chroma 1.0 走的是原生多模態路徑。在對話過程中，它能直接處理使用者的語音輸入，同時生成連貫的文本回復與合成語音，不需要外掛第三方 TTS 模組。

更實用的是它自帶的聲音克隆功能。在發起對話時，只要隨輸入提供一段參考音訊和對應的文本提示，模型就會以參考音訊的聲線和語氣風格來合成回答，非常適合用於定製虛擬人形象或特定音色的人工智慧語音助手。

模型採用 Apache-2.0 開源協議，無論是個人開發者還是企業研究人員，都可以免費商用或二次開發。

架構設計與怎麼跑起來

根據 FlashLabs 公佈的技術細節，Chroma 1.0 的架構由幾個成熟模組組合而成。推理核心部分基於 Qwen2.5-Omni-3B，主幹網路採用 16 層的 Llama 3 結構，解碼器則是 4 層的 Llama 3，底層音訊編解碼器選用了支援 24kHz 取樣率的 Mimi。

部署門檻也相對平民化。模型權重已經完整上傳至 Hugging Face，倉庫名為 FlashLabs/Chroma-4B，官方還提供了 Google Colab 與 Kaggle 筆記本。

在程式碼層面，它相容常見的 Transformers 和 PyTorch 框架。通過 AutoModelForCausalLM 和 AutoProcessor 就能直接載入，處理音訊輸入並呼叫底層編解碼器解碼出 24kHz 音訊。

為什麼重要

我們認為，端到端語音互動正在迅速取代傳統的串聯方案。級聯方案中間的轉寫不僅增加延遲，還會丟掉語氣、情緒和停頓等大量副語言資訊，而 Chroma 1.0 這類 4B 級別輕量端到端模型的開源，讓個人開發者也能在本地或低成本伺服器上搭建低延遲語音應用。

不過目前它的侷限也很明顯，官方標註語言僅支援英語，多語言對話和中文支援還需要社群後續微調。但對於想要構建英語語音 Agent 或試驗即時語音克隆的開發者來說，它是一個現成且開放的好起點。