Resemble AI 釋出 DramaBox:像寫劇本一樣控制語音,嘆氣大笑全聽指揮
Resemble AI 釋出表現力語音模型 DramaBox。它像劇本一樣工作:引號內念臺詞,引號外用自然語言寫情緒、嘆氣或笑聲等舞臺指示,還能克隆音色。最關鍵的是它不僅自帶抗篡改水印,還開放了本地模型下載,不過本地執行需要 24GB 視訊記憶體。
做過配音或者用過語音合成的人,大概都遇到過這種讓人抓狂的狀況:AI 讀出來的字句明明全對,音質也沒問題,但聽起來就是有一股說不出的假,平得像白開水。
過去你想讓它帶點情緒,得在後臺調各種數值引數,或者在臺詞裡塞滿奇怪的程式碼標籤。可現實裡哪個導演會衝著演員喊「情緒強度給我拉高 20%」?
語音生成公司 Resemble AI 拿出了一個新思路,正式釋出表現力語音模型 DramaBox。他們解決平淡感的方法很直接:把提示詞徹底做成電影劇本,用大白話寫場景和動作,讓 AI 自己去領會表演。
像劇本一樣分工,引號外全是戲
DramaBox 的核心機制其實非常簡單,它把輸入文本分成了兩個互不干擾的空間。
雙引號裡面的內容,是角色要讀出來的臺詞;雙引號外面的一切文字,模型都會當成舞臺指示和背景設定,絕不會傻傻念出來。
比如你在提示詞裡寫「一位高貴的女人帶著冷酷的怒意,低聲嘆了一口氣:『我已經告訴過你一千次了,可我們又回到了這裡。』」模型就會先給出一聲沉重的嘆息,再帶著壓抑的怒火念出臺詞。
如果你想讓角色中途笑場,只要在引號外寫「她一邊說一邊忍不住咯咯直笑,在笑聲間隙倒吸了一口氣」,生成出來的音訊裡就會自然夾雜憋笑、喘息甚至笑到破音的效果,而不是生硬地把嘆氣和笑聲拼貼上去。
更方便的是它支援聲音克隆。你只需要餵給它一段 10 秒鐘的參考音訊,模型就能復刻那個人的音色,同時完全遵循劇本里的情緒演出來;如果不給參考音訊,它就會自己編造一個符合場景描述的全新嗓音。
3.3B 引數與 24GB 視訊記憶體的本地門檻
從技術底層看,DramaBox 是一個 3.3B 引數的純音訊擴散 Transformer,搭配了一個 4-bit 量化的 Gemma 3 12B 文本編碼器,部分技術也是從影片模型 LTX 2.3 中提取演化而來。
它能輸出 48kHz 的立體聲高質量音訊。在預熱過的 H100 顯示卡上,單次生成只需要大約 2.5 秒。
更棒的是,Resemble AI 這次直接開放了模型下載和本地執行說明。不過想在自己的電腦上跑起來,硬體門檻著實不低。
音訊模型本身雖然只有 7GB,但加上 8GB 的文本編碼器和其他元件,官方給出的峰值視訊記憶體佔用高達 24GB。16GB 視訊記憶體或許能勉強碰碰運氣,但基本還是需要一張中高階獨立顯示卡才能順暢執行。
此外,他們還在音訊訊號本身嵌入了防偽水印 Resemble Watermarker。這種水印人耳完全聽不見,但即使經過壓縮、重編碼或常規音訊剪輯,檢出率依然接近 100%,專門用來應對歐盟 AI 法案等法規對深度偽造的合規要求。開源機器學習工程師 Joshua Lochner 隨後發文祝賀,並透露 Resemble TTS 家族在 Hugging Face 上的總下載量已經突破了 1000 萬次。
為什麼重要
我們認為,DramaBox 最聰明的地方在於把語音控制從「機器引數」拉回到了「人類直覺」。
以往無論是調節語調還是插入擬聲詞,創作者都要在各種標籤系統和百分比滑塊裡反覆試錯。用劇本格式隔開臺詞和表演指示,不僅大幅降低了學習成本,也讓長篇有聲書、播客和遊戲配音的自動化製作變得真正可行。
對獨立開發者和小型遊戲團隊來說,只要手頭有張好顯示卡,就能在本地低成本搞出極具戲劇張力的 NPC 對話,完全告別過去傳統 TTS 的機械味。
不過門檻也明明白白擺在那裡。高達 24GB 的視訊記憶體佔用直接把絕大多數普通消費級電腦擋在門外,本地部署目前仍然是少數高階玩家的遊戲。
對整個行業而言,Resemble AI 把高表現力生成和防偽水印綁在一起開源,更像是在給同行樹立標杆:光把聲音做逼真已經不夠了,面對日趨嚴格的法律監管,誰能同時交出令人信服的演技和防濫用方案,誰才握有商業落地的門票。
來源 (1)
- resemble.ai(在新分頁開啟)原文resemble.ai