跳到正文
IFAI

开源项目

AudioX 开源:不到 6GB 的全能音频模型,看视频切点自动配音

首次发布 传播指数 68

统一音频模型 AudioX 开源代码,体积不到 6GB,可直接在消费级显卡本地跑。它支持文本、图像或视频输入,能识别视频剪辑点对齐音效,还支持音频修复和续写;纯音乐音质虽非顶尖,但多模态生成覆盖极全。

AudioX 开源:不到 6GB 的全能音频模型,看视频切点自动配音
图:arxiv.org

给无声视频配音和打点,向来是视频剪辑里最耗时间的繁琐活。

认准剪辑点自动对齐配音

AudioX 把文本、图像和视频统一放进了同一个生成框架。它最亮眼的地方不在于纯音乐生成的单项音质——做做背景配乐够用,但离录音棚级水准还有差距——而在于对多模态时间线的把控。

扔给它一段无声视频,它能识别出画面里的剪辑切点,跟着镜头切换生成对齐的音效。除了解读画面,它对文本音效生成的精细度控制也很高,比如可以精准执行「机枪连开两发,短暂沉默,再出海浪声」。

另外,它还支持音频修复与续写。中间删掉一段声音,它可以无缝补上人声和掌声;给一段前奏,也能按动作大片管弦乐的方向继续往下扩。整个模型体积不到 6GB,在普通消费级显卡上就能跑本地代码。

为什么重要

我们认为,AudioX 的思路非常务实。以往创作者要在配乐、拟音、音频修补之间来回切换好几个工具,还要人工盯剪辑点对波形。

AudioX 没去卷极高保真的纯音乐生成,而是选择用一个不到 6GB 的轻量模型包揽全套音画对齐。对于个人剪辑师和小型游戏团队来说,这意味着可以在本地显卡上零成本搞定基础音效铺垫。

它证明了多模态音频模型不一定要盲目拼参数量,能把音画同步的时间轴和剪辑切点吃透,实用价值往往比单纯生成一首歌大得多。

来源 (3)

  1. [1]
  2. [2]
  3. [3]

每日 AI 内容精选