跳到正文
IFAI

开源项目

蚂蚁集团开源 Ming 3.0 TTS:用自然语言调音,支持多人播客与商用

首次发布 传播指数 48

蚂蚁集团开源文本转语音模型 Ming 3.0 TTS,支持自然语言调音、声音克隆与多人播客生成。模型提供约 3GB 和 18GB 两个版本,小版本可在消费级显卡本地运行,发音准确率居开放模型前列;全部采用 MIT 协议,允许商用。

蚂蚁集团开源 Ming 3.0 TTS:用自然语言调音,支持多人播客与商用
图:github.com

Ming 3.0 TTS 是蚂蚁集团开源的一套文本转语音模型,能把文字直接转成逼真的人声,而且允许你用日常大白话去指导声音该怎么读。

除了常规的参考音频声音克隆,它最大的特点是支持自由的自然语言调音。你可以直接在提示词里描述声音的质感或情绪,比如「在北方山脊的另一边,有一座从所有地图上消失的城市」,或者让声音带上「老旧收音机发出轻微噼啪声」的质感。

如果你想更精细地控制细节,它还支持在文本里直接插入 14 种副语言标签,用来指定笑声、叹气声等副语言表现,或者直接调节语速、音高和音量。

它能做什么

语言支持上,Ming 3.0 TTS 涵盖中文、英语、德语、西班牙语、法语、韩语和日语,甚至还支持四川话和粤语等汉语方言。

整个模型家族放出了两个版本。一个小版本是 0.5B 的 Dense 密集模型,权重大小只有约 3GB。另一个大版本是代号为 tiny 的 MoE 混合专家模型,基于 Ling V3 构建,总参数 7.9B,激活参数 1.3B,权重大小约 18GB。

大版本专门额外支持根据脚本和说话人参考音频生成多人对话播客。不过官方在文档里也提醒,这些能力是通过独立的任务模式运行的,目前并不能随意随意组合使用。

在第三方评测机构 Artificial Analysis 截至 2026 年 10 月的榜单上,Ming 3.0 TTS 在可控声音评测中位列开放权重模型第一,在发音鲁棒性上拿到总榜第一。其中文本缩写展开准确率达到 96.5%,精确序列保持度达到 90.6%,在服务商声音评测中排在开放权重模型第三。

虽然在整体声音质量上,它被指出仅比 Fish Audio 的 Drama 3 略好一些,并没有拉开本质差距,但发音准确度确实扎实。

怎么跑起来

小版本只有约 3GB,很多消费级显卡都能直接塞下。它支持 PyTorch SDPA,flash-attn 是可选配置,官方给出的测试环境包括 NVIDIA H800 和 H20。

大版本约 18GB,对显存要求较高,官方推荐使用 NVIDIA H800 等专业显卡,并且依赖独立的 Python 3.10 和 PyTorch 2.7.1 环境。

两个版本的权重和推理代码都已经在 GitHub、Hugging Face 和 ModelScope 上开放。更关键的是,两个模型都采用极为宽松的 MIT 许可证,这意味着个人和企业都能免费修改并用于商业项目。

为什么重要

对于做播客、有声书或者独立游戏配音的开发者来说,Ming 3.0 TTS 值得马上拉下来跑一跑。小版本体积够小、门槛极低,普通显卡就能本地跑起来;MIT 协议更是扫清了商业合规风险,不需要担心商用授权问题。

和 Fish Audio Drama 3 等开源同类相比,它的发音准确率和方言支持表现亮眼,自然语言调音也比手动调参数直观得多。但如果你的硬件配置有限,18GB 的大版本依然吃力,而且多任务混用的灵活性还有待后续更新完善。

来源 (2)

  1. [1]
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选