樂譜視覺基礎模型 MuSViT：吞下 970 萬頁樂譜，讓 AI 讀懂五線譜

AI 能畫出逼真的油畫，也能用一句話生成複雜的交響樂，但如果你把一張貝多芬奏鳴曲的樂譜拍成照片丟給它，大部分模型立馬就露怯了。

對於通用視覺模型來說，樂譜只是一堆凌亂的黑白畫素點。符頭往上偏半格就是另一個音，連音線差一點意思完全不同，更不用提密密麻麻的升降號和拍號了。

研究人員推出了樂譜視覺基礎模型 MuSViT（Music Score Vision Transformer）。這也是業內第一個專門用來讀懂樂譜的大型視覺編碼器。

把樂譜當「填字遊戲」來訓

傳統的樂譜光學識別（OMR）通常依賴非常死板的規則，或者在小資料集上硬調，遇到排版稍有不同的掃描件就容易崩潰。

MuSViT 換了一條大模型的思路：直接用海量無標註資料做預訓練。團隊從國際樂譜庫專案（IMSLP）中抓取了 970 萬頁樂譜，覆蓋大約 40 萬部音樂作品。

訓練方法用的是掩碼影像建模。簡單來說，就是把樂譜的畫面大塊遮住，逼著模型去猜缺失的部分並還原出來。

為了讓訓練更平穩，研究團隊設計了兩階段課程：先在規則清晰的合成排版樂譜上熱身，再投入真實的 970 萬頁歷史樂譜語料。

在反覆「填空」的過程中，模型自己琢磨出了五線譜的骨架、音符的間距，以及記譜符號背後的結構邏輯。

凍結引數也能碾壓通用模型

模型學得怎麼樣，最終要看具體任務。研究人員在四類下游任務上測試了 MuSViT：全頁樂譜識別、單行樂譜識別、音樂符號檢測，以及樂譜難度分級。

在最考驗底子能力的線性探測測試中，研究人員把 MuSViT 的特徵提取器完全凍結，只在上面加最簡單的分類頭。

結果顯示，MuSViT 毫無懸念地擊敗了現代通用視覺編碼器。哪怕後者引數量再大、看過再多自然風景，也完全不懂樂譜的符號語法。

在進一步微調後，MuSViT 也基本重新整理了這些任務原有的最優成績。特徵分析證實，它的向量空間裡已經真正沉澱了樂譜符號的結構資訊。

為什麼重要

我們認為，MuSViT 解決了一個長期被大模型忽視的痛點。

全球圖書館裡躺著數以百萬計的古譜掃描件，但它們目前只是一堆靜態圖片，既不能被檢索，也不能一鍵轉成可播放的數字檔案。MuSViT 的出現，讓高質量的樂譜數字化有了堅固的地基。

對音樂教育者、編曲人和開發者來說，以後做樂譜排版、扒譜轉錄或者智慧伴奏軟體，直接呼叫這個現成的樂譜底座就能事半功倍，不用再從頭訓練脆弱的專用小模型。

從行業角度看，這項研究也戳破了一個幻想：通用多模態大模型並不能靠大力出奇跡搞定所有領域。面對樂譜、工程圖紙這類高度符號化的特定圖紙，專用的視覺基礎模型依然不可替代。

不過，目前 MuSViT 還只是一個底層的特徵提取器，並不是一個普通人直接上傳圖片就能匯出 MIDI 的現成應用。怎樣把這個優秀的「眼睛」接上多模態生成大腦，將是接下來的看點。