跳到正文
IFAI

AIGC

Smallest.ai 发布 Lightning V3:支持 15 语句中混说,耳语情绪可控

首次发布 传播指数 39

Smallest.ai 发布专为对话智能体打造的 TTS 模型 Lightning V3。模型支持英语、印地语等 15 种语言自动检测及句中无缝混说,V3.2 版本支持用指令微调情绪与耳语。最关键的是,仅需 5 至 15 秒音频即可克隆出带自然语感的声音。目前已开放免费体验。

Smallest.ai 发布 Lightning V3:支持 15 语句中混说,耳语情绪可控
图:smallest.ai

很多语音助手一开口,哪怕发音再标准、咬字再清晰,你还是能在三秒钟之内听出它是个机器。问题往往不在于它读得准不准,而是它说话太像在朗读课文,既没有思考时的停顿,也不会随着你的情绪变化语调。

做语音技术的初创团队 Smallest.ai 最近推出了专为对话 Agent 设计的语音合成模型 Lightning V3,试图解决的就是这种对话里的假人感。

句中切语言,还能听懂耳语指令

这次更新其实拆成了两个版本。先上线的 Lightning V3.1 覆盖了 15 种语言,除了英语、德语、法语等欧洲语种,还重点覆盖了印地语、泰米尔语等印度常用语言。它最大的特点是支持自动语种检测和句中无缝切语言。比如在印度或拉美地区,大家习惯在一句话里混着说 Hinglish 或 Spanglish,传统模型遇到这种混杂表达往往会结巴或卡壳,V3.1 可以在单词层面直接切换。

另外,V3.1 还支持快速声音克隆,只要喂给它 5 到 15 秒的真实人声音频,就能复制出带有原声特征的声音。为了解决生僻专有名词容易念错的问题,它还提供了一套发音字典功能,允许开发者直接硬编码修正品牌名或医疗术语的读法。

随后的 Lightning V3.2 则加入了指令遵循能力。以往调整 AI 的语调通常得靠复杂的参数微调,而 V3.2 允许直接输入指令,控制声音的情感状态、音高、音量,甚至能直接发出极低能量的耳语声音。目前 Lightning V3 已经上线,支持按量付费,也提供了免费试用额度。

跑分赢了 OpenAI,但官方却说基准测试过时了

在流式对话评测集 Seed-TTS 的测试中,Lightning V3 拿到了 3.89 的 MOS 平均意见分,词错误率降到了 5.38%。在与 OpenAI 的 gpt-4o-mini-tts 进行自然度对比时,官方采用大模型作为裁判,测出 Lightning V3 的胜率大约在 76%。

有意思的是,Smallest.ai 刚亮出这些好看的数字,转头就在官方博客里直言传统的语音评测基准快失效了。他们指出,MOS 和词错误率只能衡量一个模型读得清不清楚,但这早就是行业的及格线了。当下的模型只要把音调拉得更夸张、情绪做得更充沛,跑分就会变高,但在真实对话中,这种过于用力演出来的热情反而会让人觉得虚假和疲惫。

人类在真实交流中,每 100 个词通常会出现 5 到 6 次非流利停顿,包括短暂停顿、重复或自我修正。如果一个语音模型完全没有为了组织语言而产生的节奏微调,它听起来就像在照本宣科,根本不像在听你说话。

为什么重要

对于正在搭建 AI 外呼、语音客服或陪伴类机器人的团队来说,Lightning V3 解决了一个很现实的痛点。很多企业此前哪怕接入了反应极快的大模型,用户只要听到对面那种字正腔圆的播音腔,就会立刻挂断电话。能够识别混合语言、能在 15 秒内快速克隆出带有人味的声音,让它很适合拿来替换那些死板的自动语音应答系统。

在行业层面,语音合成赛道的竞争重心正在从单句朗读质量转向全双工流式对话的真实感。当发音准确性不再拉开差距,谁能把延迟压得更低、谁能模拟出人在思考时的犹豫与呼吸节奏,谁才能在智能硬件和车载场景中立足。Smallest.ai 这一步走得相当敏锐,与其卷朗读长文本的听书场景,不如直接咬死多语言对话这一块高频市场。

不过,我们认为它的隐患依然存在。76% 击败 OpenAI 的测试结果是官方在大模型裁判下跑出来的,而在日常硬件回放或嘈杂网络环境下,这种微妙的呼吸感和语调优势容易被压缩损耗。耳语和情感指令虽然听起来很酷,但如果上游大模型无法精准判断对话氛围,盲目给语音模块下达情绪标签,反而容易引发更尴尬的对话翻车。

来源 (1)

  1. [1]
    smallest.ai(在新标签页打开)原文smallest.ai

每日 AI 内容精选