乐谱视觉基础模型 MuSViT：吞下 970 万页乐谱，让 AI 读懂五线谱

AI 能画出逼真的油画，也能用一句话生成复杂的交响乐，但如果你把一张贝多芬奏鸣曲的乐谱拍成照片丢给它，大部分模型立马就露怯了。

对于通用视觉模型来说，乐谱只是一堆凌乱的黑白像素点。符头往上偏半格就是另一个音，连音线差一点意思完全不同，更不用提密密麻麻的升降号和拍号了。

研究人员推出了乐谱视觉基础模型 MuSViT（Music Score Vision Transformer）。这也是业内第一个专门用来读懂乐谱的大型视觉编码器。

把乐谱当「填字游戏」来训

传统的乐谱光学识别（OMR）通常依赖非常死板的规则，或者在小数据集上硬调，遇到排版稍有不同的扫描件就容易崩溃。

MuSViT 换了一条大模型的思路：直接用海量无标注数据做预训练。团队从国际乐谱库项目（IMSLP）中抓取了 970 万页乐谱，覆盖大约 40 万部音乐作品。

训练方法用的是掩码图像建模。简单来说，就是把乐谱的画面大块遮住，逼着模型去猜缺失的部分并还原出来。

为了让训练更平稳，研究团队设计了两阶段课程：先在规则清晰的合成排版乐谱上热身，再投入真实的 970 万页历史乐谱语料。

在反复「填空」的过程中，模型自己琢磨出了五线谱的骨架、音符的间距，以及记谱符号背后的结构逻辑。

冻结参数也能碾压通用模型

模型学得怎么样，最终要看具体任务。研究人员在四类下游任务上测试了 MuSViT：全页乐谱识别、单行乐谱识别、音乐符号检测，以及乐谱难度分级。

在最考验底子能力的线性探测测试中，研究人员把 MuSViT 的特征提取器完全冻结，只在上面加最简单的分类头。

结果显示，MuSViT 毫无悬念地击败了现代通用视觉编码器。哪怕后者参数量再大、看过再多自然风景，也完全不懂乐谱的符号语法。

在进一步微调后，MuSViT 也基本刷新了这些任务原有的最优成绩。特征分析证实，它的向量空间里已经真正沉淀了乐谱符号的结构信息。

为什么重要

我们认为，MuSViT 解决了一个长期被大模型忽视的痛点。

全球图书馆里躺着数以百万计的古谱扫描件，但它们目前只是一堆静态图片，既不能被检索，也不能一键转成可播放的数字文件。MuSViT 的出现，让高质量的乐谱数字化有了坚固的地基。

对音乐教育者、编曲人和开发者来说，以后做乐谱排版、扒谱转录或者智能伴奏软件，直接调用这个现成的乐谱底座就能事半功倍，不用再从头训练脆弱的专用小模型。

从行业角度看，这项研究也戳破了一个幻想：通用多模态大模型并不能靠大力出奇迹搞定所有领域。面对乐谱、工程图纸这类高度符号化的特定图纸，专用的视觉基础模型依然不可替代。

不过，目前 MuSViT 还只是一个底层的特征提取器，并不是一个普通人直接上传图片就能导出 MIDI 的现成应用。怎样把这个优秀的「眼睛」接上多模态生成大脑，将是接下来的看点。