Meta 推出 WavFlow：跳過潛空間壓縮，直接在原始波形上給無聲影片配音

把一段無聲影片扔給 AI，讓它自動配出踩準節奏的聲效，這種事大家見得多了。但 Meta 這次幹了一件反常識的事：它直接拔掉了音訊生成裡最常見的「中間商」。

Meta 推出音訊模型 WavFlow。現在的音訊生成模型大多像影像裡的擴散模型一樣，先把聲音壓進一個潛在空間，在那裡算好以後，再靠 VAE 把它解碼回波形。這樣做是為了省算力，但壓縮和還原總會丟失細節。WavFlow 徹底跳過了這一步，直接在原始波形空間裡折騰，輸出 44.1kHz 的高保真音訊。這感覺就像影像生成領域裡，有人決定不玩潛空間，直接在畫素空間硬剛畫面。

把聲音當成網格硬算

要在原始波形裡生成聲音，最大的麻煩是波形維度極高、能量分佈還不均勻。Meta 的做法挺有意思，他們把連續的聲音切塊重排，做成二維的 token 網格，再加上所謂的振幅提升來統一訊號尺度，然後用流匹配（flow matching）直接做預測。

負責把文本、影片和音訊串起來的，是一個 1.03B 引數規模的 MMDiT 架構。為了讓模型學會什麼時候該響什麼聲音，研究團隊搭了一套自動化資料流水線，清洗出了 500 萬組高質量的影片、文本和音訊三元組資料。

從實際效果看，拿著一段無聲影片放進去，當畫面裡的人敲鼓，或者彈吉他換把位時，生成的音訊節奏基本都能精準對齊。在 VGGSound 測試集上，它的表現拿到了 59.98 的 FD_PaSST、17.40 的 IS_PANNs 和 0.44 的音畫不同步率（DeSync）；在純文本生成音訊的 AudioCaps 基準上，也拿下了 10.63 的 FD_PANNs。論文給出的資料表明，它完全能追平甚至超過 MM-Audio 等一眾基於潛空間的老牌競品。

不過破綻也很明顯。在彈鋼琴的示例裡，模型就徹底露餡了。它能看出來你在按琴鍵，但根本搞不懂哪個鍵對應哪個具體音符，聽起來一片混亂。

依然是那個熟悉的 Meta 開源操作

更讓人掃興的還在程式碼倉庫裡。Meta 確實給 WavFlow 建了 GitHub 倉庫，放出了安裝指南、執行指令碼和訓練程式碼。

但仔細看一眼說明文件就會發現，官方明晃晃寫著一行字：受組織政策限制，他們無法提供完整的生產環境訓練檢查點。換句話說，普通開發者拿到手的大機率只是個架子或者削弱版，核心的成品權重並沒有完全放開。社群裡不少人也在吐槽，自從 Llama 之後，Meta 在很多前沿多模態專案上的開源姿態變得越來越保守。

為什麼重要

對影片剪輯師和創作者來說，給無聲畫面鋪音效一直是個磨人時間的機械活。WavFlow 證明了跳過 VAE 也能做出高保真、強同步的音軌，打擊樂和常規動作音效已經足夠唬人。但鋼琴翻車也說明，這類模型現在的理解停留在粗粒度的動作節奏上，離真正的音律理解還差得遠。再加上完整權重被扣下，大家現在想直接拿來幹活並不現實。

在技術路線上，我們認為 WavFlow 的探索很有啟發性。潛空間壓縮統治了生成式 AI 很多年，大家習慣了拿保真度換計算效率。WavFlow 證明了不走潛空間這條捷徑，靠紮實的資料流水線和流匹配架構，端到端直接在原始波形上也能跑出頂尖效果。這很可能會逼著其他音訊生成團隊重新評估架構：如果計算資源允許，扔掉 VAE 也許才是讓聲音消除人工數碼味、走向極致真實的終極路線。