Sony 提出影片音效模型 MMHNet：引入 Mamba 架構，為 5 分鐘長影片對齊聲音

給無聲影片配音，往往是做影片時最折磨人的環節。找素材、卡點切音效，幾分鐘的片子可能要折騰一下午；如果交給現有的 AI 工具，幾秒十幾秒還行，一旦時間拉長到一兩分鐘，畫面裡的腳步聲就容易跟動作「各走各的」，甚至直接變調失真。

Sony 團隊在 arXiv 上公開了一篇論文，推出了名為 MMHNet（多模態分層網路）的影片轉音訊架構。它的核心突破很明確：能夠為超過 5 分鐘的影片生成嚴絲合縫的連續音效，而且畫面切換、人物動作變化時，聲音依然緊緊咬住時間軸。

解決長影片配音，靠的是分層與 Mamba

目前的影片配音模型（Video-to-Audio），比如騰訊的 Hunyuan Video Foley 或 MM Audio，大多擅長生成短音訊片段。一旦面對長影片，傳統的 Transformer 架構算力開銷會暴增，音畫對齊也會迅速發散。

造成這個問題的根源有兩個：一是現有的長音影片配對訓練資料極其有限，二是粗略的文本描述根本無法精準對應每一幀的微小動作。

Sony 的做法沒有硬拼海量算力，而是從架構下手。他們引入了多模態分層網路與非因果 Mamba（non-causal Mamba）架構。Mamba 擅長以極低的視訊記憶體和計算代價捕捉超長距離的上下文依賴，而分層網路則負責把宏觀場景節奏與微觀的幀級動作拆開處理。

更巧妙的是，研究團隊驗證了「訓短測長」的可行性。模型只在短影片片段上進行訓練，在實際測試時，卻能直接泛化到 5 分鐘以上的長影片中，完全不需要事先餵給它大量耗時費力的長影片資料。

從測試表現來看，MMHNet 最亮眼的地方在於「打點同步」。比如乒乓球撞擊桌面的瞬間、鏡頭快速切換的剎那，聲音都能精準卡在動作點上，擊敗了此前各類長影片音效基準測試的模型。

為什麼重要

對影片創作者和遊戲開發者來說，這套方案切中了長影片製作的一大痛點。如果後續能夠開源或落地成外掛，短劇、紀錄片和漫動畫的後期擬音工作量會被成倍壓縮。不過目前 Sony 僅僅釋出了論文，沒有開放權重或線上演示，普通使用者短期內還無法直接體驗。

對多模態生成技術來說，這篇研究提供了一條非常聰明的工程思路。以往行業習慣靠「大算力堆長資料」來硬解長影片問題，而 Sony 證明了結合 Mamba 和分層網路，用短資料也能訓練出跑通長篇內容的模型。

我們認為，音畫對齊的本質是高精度的因果物理邏輯，光靠擴散模型暴力生成很容易產生「浮於表面」的雜音。Sony 這種把狀態空間模型（Mamba）引入音影片細粒度對齊的做法，很可能會成為接下來音效與多模態生成領域的重要參考。