跳到正文
IFAI

開源專案

NovaSR:僅 52KB 的超輕量音訊模型,超 3500 倍速把聲音變清晰

首次發布 傳播指數 48

開發者開源微型音訊超分模型 NovaSR。模型體積僅約 52KB,架構不足 10 層卷積,單張 A100 上執行速度可達 3600 倍即時,能把 16kHz 的發悶音訊還原為 48kHz 高畫質聲音。它幾乎不佔視訊記憶體,非常適合塞進端側裝置或給 TTS 即時提質。

NovaSR:僅 52KB 的超輕量音訊模型,超 3500 倍速把聲音變清晰
圖:github.com

NovaSR 是一個極度輕量級的開源音訊超分模型,權重體積只有約 52KB。它的核心功能非常專一:把聽起來沉悶、發糊的 16kHz 音訊,直接還原拉昇成清晰明亮的 48kHz 高畫質聲音。

在單張 A100 顯示卡上,NovaSR 的處理速度能飆到 3600 倍即時。這意味著處理一段 1 小時的音訊,它只需要一秒鐘左右的時間,視訊記憶體和算力開銷幾乎可以忽略不計。

52KB 是怎麼做到的

大多數基於擴散模型的音訊超分工具動輒幾個 GB,而 NovaSR 的架構極其精簡。它僅使用了不到 10 個微型的一維卷積層(Conv1D),配合源自 BigVGAN 的 Snake 啟用函式,在極限壓縮體積的同時儘量保住音質。

模型的訓練資料也相當剋制,作者只用了 100 小時的開源語音資料,包括 mls_sidon 和 VCTK 資料集。

官方對比資料顯示,同類音訊超分模型 AudioSR 的體積約為 2000MB,速度僅為 0.6 倍即時;FlashSR 體積約 1000MB,速度為 14 倍即時;FlowHigh 體積約 450MB,速度為 20 倍即時。NovaSR 在體積縮小了幾千倍的同時,速度做到了數千倍即時的跨越。

怎麼用以及有什麼限制

因為模型太小,NovaSR 完全不需要昂貴的資料中心 GPU,在消費級顯示卡甚至普通 CPU 上就能跑。在 CPU 執行環境下,只要把半精度引數調成 half=False,還能再獲得 3 到 4 倍的速度提升。

不過極簡的代價也是存在的。NovaSR 目前只支援 16kHz 輸入,而且生成的音質處於中等水平,更適合人聲修復,無法應對複雜的全頻段重度損傷。作者在主頁上也提到,如果追求更高音質和任意取樣率支援,可以去看後續推出的 LavaSR 模型,體積為 50MB。

想要嘗試的開發者可以直接通過 GitHub 倉庫安裝,也可以在 Hugging Face Space 上使用免費的線上演示。如果你想用自己的資料集微調,作者還在 Kaggle 上開放了完整的訓練程式碼。

為什麼重要

對開發者來說,NovaSR 最實用的場景是作為語音生成(TTS)的後處理外掛。很多輕量級 TTS 模型為了追求生成速度只能吐出 16kHz 音訊,掛上 NovaSR 之後,幾乎零延遲就能直接提質到 48kHz。

此外,它只有 52KB 的體積,完全可以塞進智慧手機、會議麥克風甚至藍牙耳機晶片裡,用來做通話降噪之後的即時高頻補償,或者用來翻新海量老舊通話錄音資料集。

我們認為,NovaSR 的價值不在於它重建了多麼完美的聲音細節,而在於它證明了端側即時音訊增強完全不需要沉重的大模型。對於算力捉襟見肘的邊緣裝置場景,這種輕量到極致的工程取捨非常值得借鑑。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選