Scenema Audio 開源：把聲音與情緒解耦，用舞臺指示給克隆聲音演戲

玩過聲音克隆的人大多踩過同一個坑：你給模型一段冷靜溫和的參考錄音，它生成出來的臺詞就永遠是一副波瀾不驚的讀書腔；如果想要一段歇斯底里的怒吼，你就得先滿世界去找一段包含怒吼的原聲。

Scenema AI 帶來的 Scenema Audio 打算打破這個規矩。

團隊開源了這個音訊擴散模型，核心賣點就是把聲音音色和情緒表演徹底解耦。你只要給它一段幾秒鐘的乾淨人聲，剩下的喜怒哀樂、說話節奏甚至是呼吸聲，全憑你在提示詞裡寫下的舞臺指示來決定。

讓平靜的聲音當場發飆

Scenema Audio 官方直接給出了一個鮮明對比：參考音訊是一段平穩剋制的平靜朗讀，但在提示詞里加上「盯著彩票、雙手顫抖、從震驚逐漸轉為無法控制的興奮」之後，克隆出的聲音就會徹底撕破冷靜，帶著顫音和粗重的喘息大喊。

這在以往的零樣本聲音克隆裡很難做到。以往的技術往往把音色和情緒綁死在參考音訊裡，參考音訊裡沒有憤怒，模型就演不出憤怒。

Scenema Audio 走的是另一條路。模型先根據文本提示詞生成帶有具體演戲狀態的音訊輪廓，再把參考音訊裡的音色特徵遷移過去。也就是說，只要提示詞寫得夠細，任何聲音都能演出它從未被錄製過的情緒。

除了情緒，它還能改口音。輸入一段澳洲女性的閒聊錄音，在提示詞裡註明「美式口音」並加上「還沒開口就忍不住在笑」的舞臺指示，生成結果不僅換了地道的美式發音，還會帶著邊笑邊講段子的斷續感。

模型甚至支援在單段臺詞裡插入動作標籤，實現中途情緒切換。比如上一秒還是極度剋制的壓抑，下一秒就在爭吵中失控爆發。它還具備多語言能力，拿一段歐巴馬的英語演講片段做參考，就能直接生成標準西班牙語、法語、德語甚至斯瓦希里語的發言。

如果你根本不想克隆誰，也可以直接靠文字「捏」聲音。寫一段「圍坐在爐火邊的老爺爺，聲音沙啞溫暖」，模型就能從零憑空捏造出匹配的全新音色。

從影片模型裡「摳」出來的音訊神器

有趣的是，Scenema Audio 並不是從零訓練的獨立語音專案。

研發團隊是從開源影片生成模型 LTX 2.3 內部，直接把原有的音訊擴散部分單獨剝離出來的。他們發現，優秀的本地音影片多模態模型在純音訊生成上的表現其實非常驚人，完全可以作為獨立的表演級語音工具使用。

Scenema AI 已經把程式碼和模型權重放到了 GitHub 與 Hugging Face，並附帶了開箱即用的本地圖形介面。

不過想在本地跑起來還是有點門檻。如果執行量化版音訊模型，最低需要 16GB 視訊記憶體，同時還需要搭配 32GB 以上的系統記憶體。

為什麼重要

我們認為，Scenema Audio 解決的是 AI 配音領域最讓人頭疼的「假人感」。

過去的內容創作者做廣播劇、遊戲 NPC 配音或者短劇旁白，最怕聽到平鋪直敘的朗讀腔。想要讓 AI 角色根據劇情起承轉合，往往要在各種剪輯軟體里人工拼接情緒片段，或者不斷換參考音訊去撞大運。

現在創作者只需要像導演一樣寫劇本和舞臺指示，就能精確控制角色在某一句話甚至某個詞上的情緒爆發。這種控制力對於獨立遊戲開發者和低成本影片團隊來說非常實用。

對整個語音生成行業而言，它也指明瞭一個新方向：未來的語音模型比拼的不再是誰讀得更像播音員，而是誰更能理解「表演」。把影片大模型中的跨模態音訊能力單獨拆出並開源，很可能會逼著其他音訊閉源廠商加快開放更加精細的情緒控制介面。

不過我們也要看到，16GB 視訊記憶體加 32GB 記憶體的要求，對普通輕度玩家來說並不算低；而且多語言生成在小語種上的發音偶爾還會出現偏差。但就目前展現出的表現力和可控度來看，它無疑是本地配音工具裡非常值得一試的新選手。