LongCat 发布 Audio Edit：几秒音频即可高质量克隆声音

想要克隆一个人的声音，过去你可能得找一段清晰无噪的录音棚音频，再花上好几个小时微调模型。但现在的语音模型正在把这个门槛砸得粉碎，几秒钟的日常语音就足够让它学走你的调调。

开发团队正式发布了开源语音模型 LongCat Audio Edit（论文代号 LongCat-AudioDiT）。它不仅能做高质量的文本转语音（TTS），最大的看点是零样本声音克隆：只要丢给它几秒钟参考音频和文字，十秒之内它就能用完全一样的音色和语气念出全新的句子。

扔进几秒语音，十秒就能出声

在团队公开的 Hugging Face Space 上，普通人已经可以直接上手试玩。操作逻辑非常简单：上传一段几秒钟的原音频，贴上这段音频对应的文字转写，然后再输入你希望它念的新文案，点击生成即可。

实际演示里的表现让人印象深刻。丢进一段地道的澳洲男性俚语语音，它生成出来的新中文句子，依然带着那种松弛的质感；换成带着浓重口音的印度女性声音，生成速度在 10 秒左右，不仅音色咬字复刻得很准，连原说话人略带戏剧感的语调起伏也一并保留了下来。

团队这次直接放出了两个版本。旗舰版拥有 35 亿参数，模型文件大小约为 15.3GB，主打极致的生成质量；另一个轻量化版本体积压缩到了约 6GB 左右，生成速度更快，可以在大多数消费级 GPU 上直接跑起来。官方同时放出了模型权重和代码，本地部署教程也一并公开。

跳过梅尔谱，直接在波形隐空间生成

能把音色克隆做到这个水准，核心在于它的架构革新。以往主流的扩散 TTS 模型大多依赖梅尔频谱图这类中间声学表征，先算谱图再过声码器，很容易在多阶段转化中积累误差。

LongCat 团队换了条路，他们让非自回归扩散模型直接在波形隐空间（Waveform Latent Space）里工作。整个生成链路被极度精简，基本上只由一个波形变分自编码器（Wav-VAE）和一个扩散骨干网络组成，避开了繁复的流水线。

此外，他们还修复了长期存在的训练与推理不匹配问题，并用自适应投影引导替代了传统的无分类器引导（CFG）。在业内公认高难度的 Seed 基准测试中，35 亿参数的旗舰版在中文测试（Seed-ZH）上的说话人相似度从 Seed-TTS 的 0.809 提升到了 0.818，在硬核场景（Seed-Hard）下也从 0.776 冲到了 0.797，双双刷新业内纪录。论文还提出了一个有趣的发现：自编码器的声音重建保真度并不是越高越好，它和后端扩散模型的匹配度才是关键。

为什么重要

对于独立开发者和内容创作者来说，高质量本地化语音克隆的门槛被彻底打下来了。过去做多语种播客配音或虚拟角色互动，要么忍受商业 API 昂贵的调用费和审查限制，要么花大把时间训练定制模型。现在只要手头有一张 6GB 显存以上的消费级显卡，拉下开源权重就能在本地搭建极其实时的克隆流水线，数据还不用出本地。

对整个语音合成行业而言，LongCat 证明了简化架构的威力。过去大家卷多阶段微调、卷昂贵的人工精标数据集，而这项研究表明，只要选对表征空间并修补好推理引导机制，完全可以在没有昂贵人工标注的情况下压过顶尖商用方案。这很可能会迫使更多语音厂商转向直接波形隐空间的扩散路线。

不过这项技术也有绕不开的问题。门槛降低到只需几秒音频，意味着克隆一个人的声纹变得空前轻巧，声音冒充和电话欺诈的防御难度再次升级。技术开源是好事，但整个社区接下来必须直面生成音频的水印和真伪检测问题。