LongCat 釋出 Audio Edit：幾秒音訊即可高質量克隆聲音

想要克隆一個人的聲音，過去你可能得找一段清晰無噪的錄音棚音訊，再花上好幾個小時微調模型。但現在的語音模型正在把這個門檻砸得粉碎，幾秒鐘的日常語音就足夠讓它學走你的調調。

開發團隊正式釋出了開源語音模型 LongCat Audio Edit（論文代號 LongCat-AudioDiT）。它不僅能做高質量的文本轉語音（TTS），最大的看點是零樣本聲音克隆：只要丟給它幾秒鐘參考音訊和文字，十秒之內它就能用完全一樣的音色和語氣念出全新的句子。

扔進幾秒語音，十秒就能出聲

在團隊公開的 Hugging Face Space 上，普通人已經可以直接上手試玩。操作邏輯非常簡單：上傳一段幾秒鐘的原音訊，貼上這段音訊對應的文字轉寫，然後再輸入你希望它唸的新文案，點選生成即可。

實際演示裡的表現讓人印象深刻。丟進一段地道的澳洲男性俚語語音，它生成出來的新中文句子，依然帶著那種鬆弛的質感；換成帶著濃重口音的印度女性聲音，生成速度在 10 秒左右，不僅音色咬字復刻得很準，連原說話人略帶戲劇感的語調起伏也一併保留了下來。

團隊這次直接放出了兩個版本。旗艦版擁有 35 億引數，模型檔案大小約為 15.3GB，主打極致的生成質量；另一個輕量化版本體積壓縮到了約 6GB 左右，生成速度更快，可以在大多數消費級 GPU 上直接跑起來。官方同時放出了模型權重和程式碼，本地部署教程也一併公開。

跳過梅爾譜，直接在波形隱空間生成

能把音色克隆做到這個水準，核心在於它的架構革新。以往主流的擴散 TTS 模型大多依賴梅爾頻譜圖這類中間聲學表徵，先算譜圖再過聲碼器，很容易在多階段轉化中積累誤差。

LongCat 團隊換了條路，他們讓非自迴歸擴散模型直接在波形隱空間（Waveform Latent Space）裡工作。整個生成鏈路被極度精簡，基本上只由一個波形變分自編碼器（Wav-VAE）和一個擴散骨幹網路組成，避開了繁複的流水線。

此外，他們還修復了長期存在的訓練與推理不匹配問題，並用自適應投影引導替代了傳統的無分類器引導（CFG）。在業內公認高難度的 Seed 基準測試中，35 億引數的旗艦版在中文測試（Seed-ZH）上的說話人相似度從 Seed-TTS 的 0.809 提升到了 0.818，在硬核場景（Seed-Hard）下也從 0.776 衝到了 0.797，雙雙重新整理業內紀錄。論文還提出了一個有趣的發現：自編碼器的聲音重建保真度並不是越高越好，它和後端擴散模型的匹配度才是關鍵。

為什麼重要

對於獨立開發者和內容創作者來說，高質量本地化語音克隆的門檻被徹底打下來了。過去做多語種播客配音或虛擬角色互動，要麼忍受商業 API 昂貴的呼叫費和審查限制，要麼花大把時間訓練定製模型。現在只要手頭有一張 6GB 視訊記憶體以上的消費級顯示卡，拉下開源權重就能在本地搭建極其即時的克隆流水線，資料還不用出本地。

對整個語音合成行業而言，LongCat 證明了簡化架構的威力。過去大家卷多階段微調、卷昂貴的人工精標資料集，而這項研究表明，只要選對錶徵空間並修補好推理引導機制，完全可以在沒有昂貴人工標註的情況下壓過頂尖商用方案。這很可能會迫使更多語音廠商轉向直接波形隱空間的擴散路線。

不過這項技術也有繞不開的問題。門檻降低到只需幾秒音訊，意味著克隆一個人的聲紋變得空前輕巧，聲音冒充和電話欺詐的防禦難度再次升級。技術開源是好事，但整個社群接下來必須直面生成音訊的水印和真偽檢測問題。