楽譜特化の視覚基盤モデル「MuSViT」登場：970万ページ学習で五線譜を正確に理解

AIはリアルな絵画を描き、テキストから本格的なオーケストラ曲を作れるようになりました。しかし、ベートーヴェンの楽譜の写真をそのまま見せると、多くの汎用画像モデルはたちまち音を上げます。

一般的な画像認識AIにとって、楽譜はただの白黒の線の集まりにすぎません。符頭の位置がわずかにずれるだけで音高が変わり、線のつながり一つでリズムが変わる記号の世界を、既存のAIは理解できなかったのです。

こうした課題に対し、研究チームは6月30日、楽譜理解に特化した初の視覚基盤モデル「MuSViT（Music Score Vision Transformer）」を発表しました。

楽譜の「虫食い」を復元して文法を習得

従来の楽譜認識技術（OMR）は、厳密なルール設定や小規模な教師データに頼っていたため、かすれた古書や珍しい書式の楽譜を前にすると認識精度が激減していました。

MuSViTの開発チームは、大規模な自己教師あり学習というアプローチを採用しました。国際楽譜ライブラリープロジェクト（IMSLP）から約40万作品、計970万ページもの膨大な楽譜データを収集したのです。

学習にはマスク画像モデリング（MAE）が使われました。楽譜画像の一部を大きく隠し、欠落した部分をモデル自身に推測・復元させる訓練を繰り返しました。

さらに、まずは綺麗にデジタル組版された楽譜で基礎を固め、その後に手書きや古いスキャンを含む970万ページの全データに挑むという、2段階のカリキュラムを導入しました。

欠落を補う過程を通じて、モデルは五線譜の構造や音符の間隔、各種音楽記号の文法的なつながりを自然に学習していきました。

汎用モデルを圧倒する記号理解力

研究チームはMuSViTを、ページ全体の楽譜認識、五線単位の認識、音楽記号の検出、楽譜の難易度分類という4つの実用タスクで検証しました。

モデルの重みを固定したまま性能を測る線形評価において、MuSViTは既存の最新ビジョンモデルを軒並み圧倒しました。

どれほど大規模な汎用視覚モデルであっても、楽譜特有の記号構造を捉えることはできていませんでした。一方でMuSViTは、埋め込み空間そのものに音楽記号の構造を正確に保持していることが実証されました。

さらにタスク特化の微調整を行うことで、従来の専用モデルが持っていた最高記録も更新しています。

なぜ重要か

MuSViTは、これまでAIが見落としていた音楽文化のデジタル化に強力なブレイクスルーをもたらします。

世界中の図書館には膨大な歴史的楽譜がスキャン画像として眠っていますが、機械が読めるMIDIやMusicXMLへの変換は手作業が多く、ほとんど手つかずのままでした。MuSViTの登場により、楽譜の自動デジタル化や検索のハードルは一気に下がります。

音楽教育者や開発者にとっても、脆弱な専用画像認識をゼロから構築することなく、高精度な楽譜解析ツールを開発できる基盤が手に入った意味は大きいです。

産業的な観点でも、「汎用大規模モデルですべて解決できる」という過信に一石を投じています。楽譜や設計図のような高度に構造化された記号言語には、やはり専用の視覚バックボーンが必要であることを証明しました。

現時点のMuSViTは視覚特徴を抽出するエンコーダであり、一般ユーザーが手軽に使えるエンドツーエンドの変換アプリではありません。今後、この基盤モデルが生成AIと組み合わさり、実用的なツールとしてどう開花するかが注目されます。