SoulX-Singer：幾秒人聲克隆唱歌，不到 3GB 連 CPU 都能跑

想讓某個人為你唱首歌，以前大概需要蒐集他幾十首幹音、通宵訓練聲音模型，最後調教半天還可能跑調。現在這個門檻被直接打掉了。

Soul-AILab 正式開源了零樣本歌唱合成模型 SoulX-Singer。它的核心賣點簡單粗暴：只要幾秒鐘的說話音訊作為音色參考，再塞給它一段唱歌參考或旋律，它就能讓這個人原汁原味地把歌唱出來，完全不需要專門微調。

扔一段說話聲，直接讓它唱生日歌

SoulX-Singer 最直觀的玩法就是聲音克隆唱歌。你在日常裡隨便錄一段幾秒鐘的低沉男聲唸白，然後再找一段普通的「祝你生日快樂」唱歌音訊餵給它，模型就能把兩段拼合，讓那個低沉男聲準確地唱出這首生日歌。

在演示案例裡，有人把前美國總統歐巴馬公開演講的幾秒聲音丟進去，搭配經典老歌的參考音訊，生成的成品直接讓歐巴馬唱起了流行老歌。無論是說唱、重金屬搖滾還是口水歌，它都能較好地把音色套在對應曲風上。

除了直接套用現有歌曲，它還支援原創音樂製作。你可以自己先哼唱或者唱一遍原創歌詞，讓模型抓取旋律走勢（F0 輪廓），再指定任何一個音色讓它替你唱出這段旋律。如果你懂編曲，它甚至支援 MIDI 音符控制，用來精確調整音高和節奏。

不到 3GB 的小身板，程式碼權重全放開

這套模型之所以迅速引發討論，是因為開發團隊開放得非常徹底。他們不僅把推理程式碼和權重扔到了 GitHub 和 Hugging Face 上，還採用了寬鬆的 Apache 2.0 許可證，支援學術與商業探索。

訓練底座方面，團隊用上了超過 4.2 萬小時的人聲、歌詞和音符對齊資料集，覆蓋普通話、英語和粵語。這讓它天然具備跨語種演唱能力，哪怕拿中文日常說話的樣本，也能合成出英文或粵語歌曲。

最接地氣的是它的執行門檻。整個模型體積不到 3GB，並不需要昂貴的資料中心計算卡。低端消費級 GPU 甚至普通 CPU 都能在本地跑起來。官方還提供了基於網頁的 WebUI 介面，隨後還跟進了純音訊對音訊轉換的 SoulX-Singer-SVC 模型以及線上 MIDI 編輯工具。

為什麼重要

我們認為，SoulX-Singer 最大的價值在於把歌聲合成的門檻拉到了平民線。對於獨立音樂人和內容創作者來說，寫出 demo 之後找歌手試唱往往成本很高，現在自己隨便哼兩句、選個合適的聲音就能先聽到大致成品，試錯成本被大幅壓縮。

對行業而言，它標誌著聲音克隆從單純的「念稿朗讀」全面邁向「富情感表達」的歌唱領域。過去高質量聲音合成往往是少數大廠的封閉雲端能力，而 SoulX-Singer 證明了在 4 萬多小時多語言資料加持下，不到 3GB 的小模型也能在本地完成零樣本高質量合成，這會加速本地化音訊生產管線的普及。

不過隱患也顯而易見。僅憑几秒說話聲就能高保真克隆唱歌，甚至直接模仿政要或名人發聲，必然會給音樂版權和肖像聲音權帶來極大衝擊。官方雖然提示了智慧財產權和授權合規，但既然權重已經完全開放，開源社群後續如何防範濫用，依然是個無解的難題。