Sony 提出视频音效模型 MMHNet：引入 Mamba 架构，为 5 分钟长视频对齐声音

给无声视频配音，往往是做视频时最折磨人的环节。找素材、卡点切音效，几分钟的片子可能要折腾一下午；如果交给现有的 AI 工具，几秒十几秒还行，一旦时间拉长到一两分钟，画面里的脚步声就容易跟动作「各走各的」，甚至直接变调失真。

Sony 团队在 arXiv 上公开了一篇论文，推出了名为 MMHNet（多模态分层网络）的视频转音频架构。它的核心突破很明确：能够为超过 5 分钟的视频生成严丝合缝的连续音效，而且画面切换、人物动作变化时，声音依然紧紧咬住时间轴。

解决长视频配音，靠的是分层与 Mamba

目前的视频配音模型（Video-to-Audio），比如腾讯的 Hunyuan Video Foley 或 MM Audio，大多擅长生成短音频片段。一旦面对长视频，传统的 Transformer 架构算力开销会暴增，音画对齐也会迅速发散。

造成这个问题的根源有两个：一是现有的长音视频配对训练数据极其有限，二是粗略的文本描述根本无法精准对应每一帧的微小动作。

Sony 的做法没有硬拼海量算力，而是从架构下手。他们引入了多模态分层网络与非因果 Mamba（non-causal Mamba）架构。Mamba 擅长以极低的显存和计算代价捕捉超长距离的上下文依赖，而分层网络则负责把宏观场景节奏与微观的帧级动作拆开处理。

更巧妙的是，研究团队验证了「训短测长」的可行性。模型只在短视频片段上进行训练，在实际测试时，却能直接泛化到 5 分钟以上的长视频中，完全不需要事先喂给它大量耗时费力的长视频数据。

从测试表现来看，MMHNet 最亮眼的地方在于「打点同步」。比如乒乓球撞击桌面的瞬间、镜头快速切换的刹那，声音都能精准卡在动作点上，击败了此前各类长视频音效基准测试的模型。

为什么重要

对视频创作者和游戏开发者来说，这套方案切中了长视频制作的一大痛点。如果后续能够开源或落地成插件，短剧、纪录片和漫动画的后期拟音工作量会被成倍压缩。不过目前 Sony 仅仅发布了论文，没有开放权重或在线演示，普通用户短期内还无法直接体验。

对多模态生成技术来说，这篇研究提供了一条非常聪明的工程思路。以往行业习惯靠「大算力堆长数据」来硬解长视频问题，而 Sony 证明了结合 Mamba 和分层网络，用短数据也能训练出跑通长篇内容的模型。

我们认为，音画对齐的本质是高精度的因果物理逻辑，光靠扩散模型暴力生成很容易产生「浮于表面」的杂音。Sony 这种把状态空间模型（Mamba）引入音视频细粒度对齐的做法，很可能会成为接下来音效与多模态生成领域的重要参考。