Scenema Audio 開源：從 LTX 2.3 提取的語音模型，用舞臺提示詞演情緒

市面上絕大多數文字轉語音工具聽起來都很規矩，但也很像播音員。哪怕換上再好的音色，遇到需要憤怒、哭腔或者嘆氣的段落，聲音依然平得像在唸產品說明書。

ScenemaAI 開源的 Scenema Audio 就是衝著這個痛點來的。它不是從頭練一套發音演算法，而是直接從 Lightricks 那個 22B 引數的開源音影片模型 LTX 2.3 裡面，把音訊擴散架構單獨剝離了出來。

像導演講戲一樣給 AI 貼標籤

Scenema Audio 最大的看點在於，它把語音生成變成了拍戲現場。你在輸入臺詞的同時，可以用類似劇本的動作標籤來指揮模型怎麼演。

比如在同一段話裡，你可以讓角色一開始慢條斯理地說話，中間突然插入一句發緊的抽泣，結尾再放慢節奏深呼吸。情緒起伏完全不需要分成幾段生成再拼接，單次輸出就能自己轉折。

除了情緒，它還支援環境場景建模。只要在標籤裡寫明暴風雨或者嘈雜的碼頭，模型就會在說話聲背後自動合成雨聲與雷鳴，連帶著把人物對抗風雨喊話的緊迫感也一併演出來。

聲音克隆方面，它支援零樣本克隆。你只需要餵給它 10 到 20 秒帶情緒起伏的參考音訊，它就能把這個聲音的特徵遷移到完全陌生的臺詞和極端情緒裡，不需要任何額外的微調或建檔。

吃透視訊記憶體的工程最佳化

Scenema Audio 的底層採用了 8 步蒸餾的隱空間擴散流程，文本編碼則交給了 Google 的 Gemma 3 12B。音色轉換部分使用了 SeedVC，最終直接輸出 48kHz 的立體聲音訊。

語言支援上，它覆蓋了中文、英語、日語、韓語、西班牙語等 13 種語言。對於長文本，系統會藉助 Kokoro 進行音素級時長切分，並通過跨段潛空間條件控制來保證多段音訊的聲音一致性。

硬體門檻控制得相當剋制。最低配置只需要 16GB 視訊記憶體，配合 32GB 系統記憶體把 Gemma 3 放在 CPU 上流式執行；如果在 24GB 視訊記憶體的 RTX 4090 上跑 INT8 權重與 NF4 配置，生成速度能達到 1.57 倍即時，生成 55 秒音訊只要 35 秒。

當然它現在也有不少限制。單次生成的上限約在 15 秒左右，面對複雜的長多音節詞彙和專有名詞偶爾會讀錯，而且 Gemma 3 屬於受限模型，下載前需要獲得授權。

為什麼重要

對於獨立遊戲開發者、動畫製作團隊和播客創作者來說，這是一款非常值得立即上手的工具。過去想要這種充滿戲劇張力的對白，要麼花大價錢請配音演員，要麼忍受商用語音平臺昂貴的呼叫費和千篇一律的機械語氣。現在只要一張消費級顯示卡，就能在本地搭出一套全天候的數字配音室。

從技術路徑來看，Scenema Audio 走了一條非常聰明的捷徑。以往大家總覺得音影片聯合生成模型裡的音訊只是畫面的附屬品，但它證明了多模態影片模型在學習物理世界畫面的同時，也深刻學懂了人類真實情緒和聲場環境的複雜關係。直接從中提煉音訊模型，效果遠比單模態訓練來得自然。

我們認為用劇本式標籤來控制表演，抓住了內容創作者最真實的痛點。AI 配音的下半場比拼的不再是發音標不標準，而是懂不懂得怎麼入戲。儘管在超長段落的一致性和生僻詞咬字上還有打磨空間，但開源社群已經拿到了一個能真正演戲的聲音引擎。