Hugging Face 推出 AI WebTV:用全套開源模型搭建全天候 AI 電視流
Hugging Face 釋出實驗性專案 AI WebTV。該方案用 ChatGPT 構思提示詞,串接 Zeroscope V2 生成影片短片,再經 FILM 插幀與 MusicGen 配樂,最後通過 FFmpeg 自動推流。雖然畫質和連貫性有限,但跑通了開源多模態端到端自動播出的流水線。
Hugging Face 釋出實驗性專案 AI WebTV。該方案用 ChatGPT 構思提示詞,串接 Zeroscope V2 生成影片短片,再經 FILM 插幀與 MusicGen 配樂,最後通過 FFmpeg 自動推流。雖然畫質和連貫性有限,但跑通了開源多模態端到端自動播出的流水線。
Epidemic Sound 推出 AI 配樂功能 Soundmatch。使用者上傳影片並標記片段後,系統會自動識別畫面內容生成關鍵詞,結合其音樂在 YouTube 每日超 25 億次播放的資料,幾秒內推薦匹配的曲目,幫剪輯師省去翻庫找歌的時間。
錄音學院公佈格萊美新規,明確只有人類創作者才有資格獲獎。包含 AI 生成人聲或樂器的作品仍可參評,但必須證明真人做出了實質性貢獻,創作類獎項更必須主要由人完成。也就是說,AI 可以打輔助,但小金唱片絕不會頒給演算法。
Paul McCartney 透露已藉助 AI 完成披頭士「最後一首歌」。團隊用分離技術從老卡帶裡剝離出 John Lennon 的純淨人聲再做混音,解決了當年因雜音無法處理的難題。這首擱置數十年的作品預計將在年內正式推出。
Meta 推出音樂生成模型 MusicGen,支援通過文本描述或旋律提示來創作音樂。該模型基於 2 萬小時的音樂和樂器樣本訓練,理論上只要哼個調子就能生成變體曲目。這意味著零門檻音樂創作正在成真,但也可能面臨音樂產業的版權挑戰。
一款新的開源 AI 音樂生成器在 GitHub 釋出,支援僅憑文本提示詞和歌詞生成帶人聲的完整歌曲。實測音訊具備立體聲效果且聲底乾淨,不過個別字詞發音仍有輕微瑕疵,目前模型與本地執行說明已對外開放。
據報道,Spotify 下架了 AI 音樂公司 Boomy 製作的數萬首歌曲,佔其生成曲庫的 7%。起因是環球音樂警告有人利用機器人刷播放量來薅走流媒體版稅。Spotify 隨後證實已介入處理並扣留版稅,以保護正常創作者的收益。
本週,Grimes 推出 AI 語音軟體 Elf.Tech,允許創作者上傳錄音並轉換成她的音色。生成的歌聲可以直接用於製作新曲,前提是將曲目 50% 的錄音版稅分給她。最值得關注的是,她選擇將個人聲線主動「開源」變現,把版權糾紛轉變成合作分成。
藝術家 Grimes 在社交平臺宣佈,任何使用其 AI 聲音製作的成功歌曲,都可以與她五五平分版稅。她表示自己沒有唱片合約與法律束縛,任何人都可以免責使用其聲音,自己樂於支援開源藝術併成為新技術的小白鼠。
AI 偽造 Drake 與 The Weeknd 聲線的爆火歌曲《Heart On My Sleeve》在過去兩天遭各大流媒體緊急下架。下架前其在 Spotify 播放超 62.5 萬次、YouTube 超 27.5 萬次。環球音樂強烈譴責此舉侵權,直接引爆了行業對 AI 克隆聲音版權界限的爭議。
Adobe 宣佈即將把生成式 AI 工具 Firefly 引入 Creative Cloud 影片與音訊應用。新功能雖不能直接文生影片,但支援用幾句提示詞給影片調色、生成音效與配樂,甚至讀劇本自動生成分鏡。能力依然主打商業安全,目前僅公佈了官方演示。
音訊工具開發商 Voicemod 宣佈完成 1450 萬美元融資。團隊正融合此前收購的 Voctro Labs 技術,將傳統數字訊號變聲升級為生成式 AI 即時換聲與「以歌變歌」功能。這相當於給日常語音戴上濾鏡,讓普通人在遊戲和連麥中也能借 AI 聲音即時換聲甚至開唱。
Google 研究人員公佈新 AI 模型 MusicLM,能將文字描述轉化為高保真音樂。它用 28 萬小時音訊訓練,甚至能串聯多個提示詞生成數分鐘樂曲。不過測試發現約 1% 的內容直接複製了訓練音訊,出於版權風險考量,Google 暫不打算將其公開發布。
盤點了支撐當下影像生成 AI 的核心技術擴散模型的發展歷程。擴散模型借鑑非平衡熱力學,通過學習從噪聲中恢復資料的逆過程,並在 OpenAI CLIP 的指引下實現精準生成。除了畫畫,該架構正快速擴充套件至音樂創作以及蛋白質和 DNA 序列設計等生物醫療領域。