騰訊混元開源 HunyuanVideo-Foley：輸入影片即可自動配音效

HunyuanVideo-Foley 是騰訊混元開源的端到端文本-影片生音訊（TV2A）模型。它的核心功能很簡單：給它一段無聲影片和可選的文本提示，它就能自動為畫面配上嚴絲合縫的環境音和動作音效。

在影片製作和遊戲開發裡，擬音（Foley）向來是項耗時費力的苦活。創作者不僅要四處搜尋匹配的音效素材，還得在時間軸上一幀一幀對齊腳步聲、關門聲或風吹草動。HunyuanVideo-Foley 想做的就是把這套流程自動化。

它能做到什麼效果

根據官方公佈的評測結果，HunyuanVideo-Foley 在多個基準測試中重新整理了紀錄，在音訊質量、視覺-語義對齊以及時序對齊上都超越了此前的開源模型。

它最亮眼的地方是音畫同步與分層能力。輸入一段影片後，它不僅能捕捉畫面主體動作發出的聲音，比如腳步落地的輕重，還能同步還原背景裡的細微環境聲，像遠處的車流或微風吹過樹梢。

無論輸入的是真實的自然風景、實拍生活片段，還是風格化的動畫短片，模型都能根據畫面的語義和動態節奏生成貼合的立體聲場，減少了傳統生成工具常有的雜音或音畫脫節問題。

背後是怎麼實現的

能做到精確的音畫對齊，關鍵在於資料量和架構設計。騰訊混元使用了一個規模達 10 萬小時的多模態音影片資料集對模型進行訓練。

在底層架構上，它採用了多模態擴散 Transformer（MMDiT）。這種設計讓模型可以同時權衡影片畫面的動態資訊和文本描述的語義線索，避免了模型偏向某一方而忽略細節。

此外，團隊還引入了表徵對齊（REPA）損失函式以及一個強效的音訊 VAE。這套組合提升了音訊生成的穩定度，有效壓制了音效斷裂和背景底噪，讓輸出結果更接近專業錄音棚的成品質感。

怎麼上手和開放程度

這次開源相當徹底，騰訊混元同步放出了完整的程式碼、預訓練權重以及技術報告。

開發者可以直接在 GitHub 上獲取專案程式碼，模型權重已託管至 Hugging Face 平臺。如果你想先看實際生成案例，可以訪問其 GitHub Pages 專案主頁，裡面提供了自然風光、動作短片等多種場景的實測音影片對比。技術細節則收錄於 arXiv 上的技術報告中。

為什麼重要

對於獨立影視創作者、遊戲開發者和影片剪輯師來說，這個工具非常值得放進工作流裡試試。它能把原本需要幾小時的音效搜尋與手動對軌壓縮到幾分鐘，大幅降低了後期擬音的門檻。

我們認為，雖然 AI 影片生成技術在畫面表現上突飛猛進，但長期以來聲音維度一直處於缺失狀態，導致生成出來的短片大多是「啞巴影片」。HunyuanVideo-Foley 的開源補齊了這條鏈條的關鍵一環，也有望逼迫其他影片生成團隊加速把聲音合成作為預設標配整合進來。