跳到正文
IFAI

开源项目

NovaSR:仅 52KB 的超轻量音频模型,超 3500 倍速把声音变清晰

首次发布 传播指数 48

开发者开源微型音频超分模型 NovaSR。模型体积仅约 52KB,架构不足 10 层卷积,单张 A100 上运行速度可达 3600 倍实时,能把 16kHz 的发闷音频还原为 48kHz 高清声音。它几乎不占显存,非常适合塞进端侧设备或给 TTS 实时提质。

NovaSR:仅 52KB 的超轻量音频模型,超 3500 倍速把声音变清晰
图:github.com

NovaSR 是一个极度轻量级的开源音频超分模型,权重体积只有约 52KB。它的核心功能非常专一:把听起来沉闷、发糊的 16kHz 音频,直接还原拉升成清晰明亮的 48kHz 高清声音。

在单张 A100 显卡上,NovaSR 的处理速度能飙到 3600 倍实时。这意味着处理一段 1 小时的音频,它只需要一秒钟左右的时间,显存和算力开销几乎可以忽略不计。

52KB 是怎么做到的

大多数基于扩散模型的音频超分工具动辄几个 GB,而 NovaSR 的架构极其精简。它仅使用了不到 10 个微型的一维卷积层(Conv1D),配合源自 BigVGAN 的 Snake 激活函数,在极限压缩体积的同时尽量保住音质。

模型的训练数据也相当克制,作者只用了 100 小时的开源语音数据,包括 mls_sidon 和 VCTK 数据集。

官方对比数据显示,同类音频超分模型 AudioSR 的体积约为 2000MB,速度仅为 0.6 倍实时;FlashSR 体积约 1000MB,速度为 14 倍实时;FlowHigh 体积约 450MB,速度为 20 倍实时。NovaSR 在体积缩小了几千倍的同时,速度做到了数千倍实时的跨越。

怎么用以及有什么限制

因为模型太小,NovaSR 完全不需要昂贵的数据中心 GPU,在消费级显卡甚至普通 CPU 上就能跑。在 CPU 运行环境下,只要把半精度参数调成 half=False,还能再获得 3 到 4 倍的速度提升。

不过极简的代价也是存在的。NovaSR 目前只支持 16kHz 输入,而且生成的音质处于中等水平,更适合人声修复,无法应对复杂的全频段重度损伤。作者在主页上也提到,如果追求更高音质和任意采样率支持,可以去看后续推出的 LavaSR 模型,体积为 50MB。

想要尝试的开发者可以直接通过 GitHub 仓库安装,也可以在 Hugging Face Space 上使用免费的在线演示。如果你想用自己的数据集微调,作者还在 Kaggle 上开放了完整的训练代码。

为什么重要

对开发者来说,NovaSR 最实用的场景是作为语音生成(TTS)的后处理插件。很多轻量级 TTS 模型为了追求生成速度只能吐出 16kHz 音频,挂上 NovaSR 之后,几乎零延迟就能直接提质到 48kHz。

此外,它只有 52KB 的体积,完全可以塞进智能手机、会议麦克风甚至蓝牙耳机芯片里,用来做通话降噪之后的实时高频补偿,或者用来翻新海量老旧通话录音数据集。

我们认为,NovaSR 的价值不在于它重建了多么完美的声音细节,而在于它证明了端侧实时音频增强完全不需要沉重的大模型。对于算力捉襟见肘的边缘设备场景,这种轻量到极致的工程取舍非常值得借鉴。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选