Lightricks 推出 ScenA：一段提示詞加人聲樣本，一次生成帶環境音的多人對話場景

以前聽 AI 生成的雙人對話，總有一種兩個人站在真空消音室裡輪流念稿的僵硬感。一人一句、毫無交集，現實中常見的插嘴、打斷、背景環境雜音，或者憋不住的笑場，傳統語音合成基本還原不出來。

Lightricks 聯合特拉維夫大學推出的音訊生成模型 ScenA，試圖徹底打破這種錄音棚假象。使用者只要給一段自由的自然語言描述，再附上一兩段參考人聲片段，它就能一次性生成最長 20 秒的完整音訊場景。

不再逐句拼湊，把對白直接扔進現實聲場

傳統的做法往往非常繁瑣：得先給對話切好輪次、打上說話人標籤、用純語音模型一條一條生成乾淨人聲，最後再去人工疊加背景音樂和環境音效。這樣做出來的聲音聽起來無比干淨，但也假得明顯。

ScenA 走了一條完全不同的路。它基於在大規模真實野外資料上預訓練的 Flow-matching 音訊基座模型，把參考人聲音訊的潛變數直接拼接到序列裡，再用輕量的身份位置編碼來區分說話人。

這意味著它不需要結構化的指令碼，就能直接把環境音、混響和說話聲揉在一起。不管是雨天咖啡館裡的爭吵，還是在震耳欲聾的風暴中大喊，所有聲音都在單次推理中渾然一體。

更讓人驚喜的是它的細節還原度。演示裡不僅能看到兩人完全重疊的倒數讀秒、一人講笑話另一人憋不住笑的抽搐聲，甚至能只給一個人的參考音訊，另一個角色直接靠文本提示詞無中生有，比如憑空生成一位粗糲的老水手或者帶倫敦腔的貴婦。

馴服 AI 的偷懶天性

不過，把這種自由度交給大模型並不容易，研究團隊在訓練中遇到了一個名為「參考捷徑」（Reference Shortcut）的棘手問題。

在標準的加噪訓練下，模型很快學會了偷懶：它發現只要把帶噪的目標音訊和手頭的參考聲音做聲學比對，就能猜出是誰在說話，根本不用費力氣去閱讀和理解文本提示詞裡的角色安排。

為了打破這種投機取巧，團隊採用了一種偏向高噪聲的時間步分佈訓練機制。強噪聲把聲學相似度的線索直接抹平，倒逼模型必須老老實實通過閱讀文本提示詞，來決定什麼時候該切換哪個人物發聲。

從 CoVoMix2-Dialogue 基準測試來看，ScenA 在說話人對齊準確率等關鍵指標上，擊敗了 ZipVoice-Dialog 和 MOSS-TTSD 等同類多說話人系統，且最多能同時支援三個參考說話人。

為什麼重要

對於影視剪輯師、播客創作者和獨立遊戲開發者來說，ScenA 展現出的潛力非常誘人。以往要給一段廣播劇或過場動畫配音，往往需要找不同配音演員分別錄製幹音，再花大量時間調 EQ、加空間混響、鋪環境音軌。ScenA 證明了一段文本加上幾個參考音色，就能在十幾秒內完成整場戲的音訊原型搭建。

在行業層面，這代表了生成式語音的一條新分水嶺：從狹義的「文本轉語音」（TTS），全面轉向端到端的「文本轉音訊場景」（Audio Scene Generation）。它把語音合成和音效生成合二為一，不再把說話人和環境割裂開來。

我們認為，Lightricks 的聰明之處在於完全拋棄了精細化打標的束縛，利用預訓練通用音訊模型去包容現實世界的混亂聲場。不過也要看到，目前該系統主要聚焦在 20 秒級別的短片段演示，在更長時間的複雜對話中，說話人音色是否會漂移、角色對白會不會混淆，仍然是接下來需要面對的現實考驗。