樂譜視覺基礎模型 MuSViT:吞下 970 萬頁樂譜,讓 AI 讀懂五線譜
研究人員推出樂譜視覺基礎模型 MuSViT。它利用掩碼自編碼在 970 萬頁樂譜上預訓練,通過補全被遮擋的畫面理解音高、節奏和五線譜結構。最值得關注的是,它填補了通用視覺模型看不懂樂譜符號關係的空白,在樂譜識別和符號檢測上大幅超越同類方法。
研究人員推出樂譜視覺基礎模型 MuSViT。它利用掩碼自編碼在 970 萬頁樂譜上預訓練,通過補全被遮擋的畫面理解音高、節奏和五線譜結構。最值得關注的是,它填補了通用視覺模型看不懂樂譜符號關係的空白,在樂譜識別和符號檢測上大幅超越同類方法。