DeepMind 公布 V2A 技术：看懂视频画面，自动生成配乐与对白

AI 生成的视频再逼真，点开播放键如果是一片死寂，那种诡异感就怎么也挥之不去。现在各大厂商的视频生成模型基本都还在演默片，画面里的海浪在翻滚、汽车在漂移，声音却得靠剪辑师后期一条条去对。

Google DeepMind 在 6 月 17 日公布了一项新技术，直接给这个问题交出了解法：Video-to-Audio，简称 V2A。这项技术能直接看懂视频像素，自动给无声视频配上电影级的配乐、环境音效甚至台词对白。

读懂像素，把噪点揉成声波

传统的音画同步是个精细的手艺活，得拿着音频轨道在时间轴上一帧帧对齐脚步声或爆炸点。市面上有些方案虽然能配乐，但往往需要用户写一大堆提示词告诉它什么时候该响什么。

DeepMind 的 V2A 不一样，它能直接理解原始视频像素。给它一段无声画面，文本提示词甚至都是可选的，就算一句不写，它也能看出画面里发生了什么并自动配音。

技术架构上，DeepMind 团队对比了自回归和扩散模型两种路线，最终选定了扩散模型。他们发现扩散架构在处理音画同步时表现最自然，听起来也最逼真。

工作流程大致分三步：系统先将输入的视频画面编码成压缩表征；接着，扩散模型在视觉信号和文本提示的引导下，从一团随机噪声中一点点迭代打磨出音频；最后，把生成的音频解码成波形文件，和视频轨道合成。

为了让声音更贴合画面，研究人员在训练数据里加入了大量 AI 生成的详细声音描述和对白文本。这样一来，模型不仅能把特定的画面事件与声音关联起来，还支持正向和负向提示词。用户想突出某种乐器，或者排除某种杂音，写几句提示词就能精准调控。

默片翻新容易，对齐唇形依然头疼

除了配合 Google 自己的 Veo 等视频生成模型使用，V2A 还能给老电影、无声档案资料配音，生成的声音数量也没有限制，不满意随时可以重新抽卡。

不过，这项技术目前还没打算向公众开放，里面有几个明显的短板还没搞定。

首先是音频质量严重依赖视频画质。如果输入的视频画面有伪影、扭曲，或者内容超出了模型的训练分布，输出的声音质量就会明显下滑。

更大的麻烦在嘴型同步。V2A 确实能根据文本生成人物对白，并试图去贴合嘴型。但如果前面的视频生成模型在生成人物时没有关联对白，角色的嘴巴就是瞎动的，这就导致配上语音后唇形怎么对怎么怪，陷入恐怖谷效应。

安全性方面，DeepMind 给这项研究打上了自家的 SynthID 水印，所有生成的音频都会带上隐形标记，避免被滥用。

为什么重要

从无声到有声，是 AI 影视生成从「动态壁纸」走向「成片工业」的关键一步。对创作者来说，过去用 AI 做视频最头疼的就是到处找音效库、手动拉时间轴对齐，如果 V2A 真正落地，哪怕只是快速做个 Demo，音效制作的门槛和耗时都会被砍掉大半。

我们认为，DeepMind 这一步走得非常清醒。单纯卷画面分辨率已经遇到边际效应，把注意力转向「多模态协同生成」才是解开成片难题的钥匙。让音频扩散模型直接以像素表征为条件进行生成，省去了繁琐的手动对齐，思路相当漂亮。

但隐患也很现实。音频与画面的深度绑定意味着「垃圾进，垃圾出」——视频稍微失真，声音就跟着崩坏。更关键的是唇形同步的脱节，这暴露了当前视频与音频分立训练的架构天花板。如果不能让视频模型在生成画面的那一刻就知道角色在念什么台词，AI 影视就很难摆脱木偶戏式的违和感。