Lightricks 推出 ScenA：一段提示词加人声样本，一次生成带环境音的多人对话场景

以前听 AI 生成的双人对话，总有一种两个人站在真空消音室里轮流念稿的僵硬感。一人一句、毫无交集，现实中常见的插嘴、打断、背景环境杂音，或者憋不住的笑场，传统语音合成基本还原不出来。

Lightricks 联合特拉维夫大学推出的音频生成模型 ScenA，试图彻底打破这种录音棚假象。用户只要给一段自由的自然语言描述，再附上一两段参考人声片段，它就能一次性生成最长 20 秒的完整音频场景。

不再逐句拼凑，把对白直接扔进现实声场

传统的做法往往非常繁琐：得先给对话切好轮次、打上说话人标签、用纯语音模型一条一条生成干净人声，最后再去人工叠加背景音乐和环境音效。这样做出来的声音听起来无比干净，但也假得明显。

ScenA 走了一条完全不同的路。它基于在大规模真实野外数据上预训练的 Flow-matching 音频基座模型，把参考人声音频的潜变量直接拼接到序列里，再用轻量的身份位置编码来区分说话人。

这意味着它不需要结构化的脚本，就能直接把环境音、混响和说话声揉在一起。不管是雨天咖啡馆里的争吵，还是在震耳欲聋的风暴中大喊，所有声音都在单次推理中浑然一体。

更让人惊喜的是它的细节还原度。演示里不仅能看到两人完全重叠的倒数读秒、一人讲笑话另一人憋不住笑的抽搐声，甚至能只给一个人的参考音频，另一个角色直接靠文本提示词无中生有，比如凭空生成一位粗粝的老水手或者带伦敦腔的贵妇。

驯服 AI 的偷懒天性

不过，把这种自由度交给大模型并不容易，研究团队在训练中遇到了一个名为「参考捷径」（Reference Shortcut）的棘手问题。

在标准的加噪训练下，模型很快学会了偷懒：它发现只要把带噪的目标音频和手头的参考声音做声学比对，就能猜出是谁在说话，根本不用费力气去阅读和理解文本提示词里的角色安排。

为了打破这种投机取巧，团队采用了一种偏向高噪声的时间步分布训练机制。强噪声把声学相似度的线索直接抹平，倒逼模型必须老老实实通过阅读文本提示词，来决定什么时候该切换哪个人物发声。

从 CoVoMix2-Dialogue 基准测试来看，ScenA 在说话人对齐准确率等关键指标上，击败了 ZipVoice-Dialog 和 MOSS-TTSD 等同类多说话人系统，且最多能同时支持三个参考说话人。

为什么重要

对于影视剪辑师、播客创作者和独立游戏开发者来说，ScenA 展现出的潜力非常诱人。以往要给一段广播剧或过场动画配音，往往需要找不同配音演员分别录制干音，再花大量时间调 EQ、加空间混响、铺环境音轨。ScenA 证明了一段文本加上几个参考音色，就能在十几秒内完成整场戏的音频原型搭建。

在行业层面，这代表了生成式语音的一条新分水岭：从狭义的「文本转语音」（TTS），全面转向端到端的「文本转音频场景」（Audio Scene Generation）。它把语音合成和音效生成合二为一，不再把说话人和环境割裂开来。

我们认为，Lightricks 的聪明之处在于完全抛弃了精细化打标的束缚，利用预训练通用音频模型去包容现实世界的混乱声场。不过也要看到，目前该系统主要聚焦在 20 秒级别的短片段演示，在更长时间的复杂对话中，说话人音色是否会漂移、角色对白会不会混淆，仍然是接下来需要面对的现实考验。