Google、リアルタイム音楽モデル「MRT2」をオープンソース公開：遅延200ms、Macローカルで演奏可能

GoogleのMagentaチームが、リアルタイム音楽生成モデル「Magenta RealTime 2（MRT2）」をオープンソースとして公開した。プロンプトを入力して完成曲の出力を数分待つ従来のモデルとは異なり、MIDIキーボードを繋いで即座に演奏できる「生きたAI楽器」として設計されている。

モデルサイズは2.4B（24億パラメータ）と230Mの2種類が用意され、レイテンシは約200msに抑えられている。テキストや音声で曲調を指定し、接続したMIDIキーボードを叩けば、入力に合わせてリアルタイムに音響を合成してくれる。なお、生成できるのはインストゥルメンタル（純音楽）のみで、ボーカルの生成には非対応となっている。

何ができるのか、どう実現したのか

従来の楽曲生成AIの多くはオフライン処理が基本で、インタラクティブなセッションには使えなかった。これに対しMRT2は、演奏者の入力にフレーム単位で即応する仕組みを備えている。

内部的にはSpectroStreamコーデックのトークンを扱う言語モデル構造を採用。因果スライディングウィンドウ・アテンションを取り入れることで、メモリ消費量を一定に保ちながら無限のストリーミング生成を可能にし、長時間演奏時のノイズやハウリングを抑え込んでいる。

低遅延の要となっているのが、MusicCoCaによるスタイル特徴量とMIDI信号を40msごとの生成フレームに直接注入する設計だ。これにより、前世代のMagenta RealTimeと比べて約15倍の低遅延化を達成し、約200msという応答速度を実現した。

動作環境と試し方

初代モデルはハイエンドGPUやTPUを必要としたが、MRT2は音楽クリエイターが日常的に使うApple Silicon搭載Macでのローカル動作に特化している。

GoogleはAppleのMLXフレームワークを用いたC++推論エンジンを開発。モデルの重みと計算グラフをパッケージ化し、Macの内蔵GPUで直接ストリーミング処理を行う。Pythonランタイムを介さずC++でオーディオバッファやMIDI入力を管理するため、DAW（楽曲制作ソフト）へのプラグイン組み込みも現実的になった。

コードベースには、オープンウェイトのモデル本体に加え、Pythonライブラリ（pip install magenta-rt）、C++推論エンジン、すぐに試せるスタンドアロンアプリが含まれている。Mシリーズチップを積んだMacがあれば、公式サイトからアプリをダウンロードして即座に試奏可能だ。

なぜ重要か

完成した楽曲をボタン一つで出力するサービスが乱立するなか、GoogleがAIを「人間の代替」ではなく「表現を拡張する楽器」として再定義した点を高く評価したい。プロの音楽制作現場では、中身がブラックボックスの一曲丸ごと生成よりも、手元の鍵盤でベロシティやコードを制御できるツールのほうが圧倒的に価値がある。

クラウド接続を必要とせず、MacBookローカルで完結する点も実用性が高い。200msという遅延はシビアな生演奏にはまだ少し慣れが必要で、ボーカル非対応という制約もあるが、既存のDAWワークフローに溶け込むオープンな次世代シンセサイザーとして、クリエイターなら今すぐ触る価値がある。