DeepMind 公佈 V2A 技術：看懂影片畫面，自動生成配樂與對白

AI 生成的影片再逼真，點開播放鍵如果是一片死寂，那種詭異感就怎麼也揮之不去。現在各大廠商的影片生成模型基本都還在演默片，畫面裡的海浪在翻滾、汽車在漂移，聲音卻得靠剪輯師後期一條條去對。

Google DeepMind 在 6 月 17 日公佈了一項新技術，直接給這個問題交出瞭解法：Video-to-Audio，簡稱 V2A。這項技術能直接看懂影片畫素，自動給無聲影片配上電影級的配樂、環境音效甚至臺詞對白。

讀懂畫素，把噪點揉成聲波

傳統的音畫同步是個精細的手藝活，得拿著音訊軌道在時間軸上一幀幀對齊腳步聲或爆炸點。市面上有些方案雖然能配樂，但往往需要使用者寫一大堆提示詞告訴它什麼時候該響什麼。

DeepMind 的 V2A 不一樣，它能直接理解原始影片畫素。給它一段無聲畫面，文本提示詞甚至都是可選的，就算一句不寫，它也能看出畫面裡發生了什麼並自動配音。

技術架構上，DeepMind 團隊對比了自迴歸和擴散模型兩種路線，最終選定了擴散模型。他們發現擴散架構在處理音畫同步時表現最自然，聽起來也最逼真。

工作流程大致分三步：系統先將輸入的影片畫面編碼成壓縮表徵；接著，擴散模型在視覺訊號和文本提示的引導下，從一團隨機噪聲中一點點迭代打磨出音訊；最後，把生成的音訊解碼成波形檔案，和影片軌道合成。

為了讓聲音更貼合畫面，研究人員在訓練資料里加入了大量 AI 生成的詳細聲音描述和對白文本。這樣一來，模型不僅能把特定的畫面事件與聲音關聯起來，還支援正向和負向提示詞。使用者想突出某種樂器，或者排除某種雜音，寫幾句提示詞就能精準調控。

默片翻新容易，對齊唇形依然頭疼

除了配合 Google 自己的 Veo 等影片生成模型使用，V2A 還能給老電影、無聲檔案資料配音，生成的聲音數量也沒有限制，不滿意隨時可以重新抽卡。

不過，這項技術目前還沒打算向公眾開放，裡面有幾個明顯的短板還沒搞定。

首先是音訊質量嚴重依賴影片畫質。如果輸入的影片畫面有偽影、扭曲，或者內容超出了模型的訓練分佈，輸出的聲音質量就會明顯下滑。

更大的麻煩在嘴型同步。V2A 確實能根據文本生成人物對白，並試圖去貼合嘴型。但如果前面的影片生成模型在生成人物時沒有關聯對白，角色的嘴巴就是瞎動的，這就導致配上語音後唇形怎麼對怎麼怪，陷入恐怖谷效應。

安全性方面，DeepMind 給這項研究打上了自家的 SynthID 水印，所有生成的音訊都會帶上隱形標記，避免被濫用。

為什麼重要

從無聲到有聲，是 AI 影視生成從「動態桌布」走向「成片工業」的關鍵一步。對創作者來說，過去用 AI 做影片最頭疼的就是到處找音效庫、手動拉時間軸對齊，如果 V2A 真正落地，哪怕只是快速做個 Demo，音效製作的門檻和耗時都會被砍掉大半。

我們認為，DeepMind 這一步走得非常清醒。單純卷畫面解析度已經遇到邊際效應，把注意力轉向「多模態協同生成」才是解開成片難題的鑰匙。讓音訊擴散模型直接以畫素表徵為條件進行生成，省去了繁瑣的手動對齊，思路相當漂亮。

但隱患也很現實。音訊與畫面的深度繫結意味著「垃圾進，垃圾出」——影片稍微失真，聲音就跟著崩壞。更關鍵的是唇形同步的脫節，這暴露了當前影片與音訊分立訓練的架構天花板。如果不能讓影片模型在生成畫面的那一刻就知道角色在唸什麼臺詞，AI 影視就很難擺脫木偶戲式的違和感。