Google 開源即時音樂模型 MRT2：延遲 200ms，Mac 本地就能彈

Google Magenta 團隊把即時音樂生成模型 Magenta RealTime 2（簡稱 MRT2）開源了。它不是那種輸入一段話等兩分鐘再給你完整音訊的生成器，而是一個能插上 MIDI 鍵盤即興演奏的即時 AI 樂器。

模型分為 2.4B 和 230M 兩個版本，延遲做到了 200ms 左右。你可以用文本設定風格，也可以喂一段參考音訊，然後直接敲鍵盤或者給音訊訊號，模型會在本地按你的按鍵即時合成音樂。不過目前它只能生成純器樂，沒辦法生成帶人聲的歌曲。

它能做什麼，怎麼做到的

傳統的生成式音樂大模型基本都是離線渲染，本質上是個「提示詞換 MP3」的黑盒。MRT2 的邏輯完全變了，它是讓模型在執行中即時響應持續的控制訊號。

底層機制上，MRT2 基於 SpectroStream 編解碼器處理音訊 token。模型採用因果滑動視窗注意力機制，既支援無限時長的流式音訊生成，又把視訊記憶體佔用死死卡在固定上限，避免長時間演奏出現記憶體爆炸或聲音雜音。

更聰明的地方在於條件注入方式。它通過 MusicCoCa 提取文本或音訊的風格特徵，並將這些特徵連同輸入的 MIDI 訊號做成逐幀對齊的條件。在每一個 40ms 的音訊幀生成步裡，模型都能感知到輸入的變化，最終把整體端到端延遲壓到約 200ms，比初代 Magenta RealTime 快了大約 15 倍。

怎麼跑起來，開放到什麼程度

這一次 Google 不只放了模型權重，還把整套推理工具鏈都交了出來。初代模型需要昂貴的高效能 GPU 或 TPU 才能跑，而 MRT2 主打的是音樂人手裡最常見的裝置。

團隊用蘋果的 MLX 框架寫了一套 C++ 推理引擎，把模型計算圖和權重打包成檔案，直接呼叫 Apple Silicon 晶片的 GPU。只要你有一臺搭載 M 系列晶片的 Mac，就能在本地原生執行即時流式音訊合成，完全不用聯網。

程式碼方面，Google 釋出了開源 Python 庫 magenta-rt，支援 JAX 和 MLX 推理。開源倉庫裡還附帶了獨立執行的 App 示例，甚至可以直接把引擎當成外掛接入 DAW（數字音訊工作站）等專業宿主軟體。

想體驗的話，Mac 使用者可以直接下載官方釋出的示例應用體驗預設樂器；開發者也可以通過 pip 安裝 magenta-rt 庫，在自己的音訊工程裡呼叫開源權重。

為什麼重要

我們認為，MRT2 最聰明的地方在於把 AI 從「替代編曲人」降維成了「編曲人手中的合成器外掛」。現在的商業音樂 AI 都在拼誰能一鍵生成幾分鐘的流行歌，但真正的音樂製作人根本沒法把這種黑盒放進工作流。MRT2 走通了一條完全不同的路：它保留了音樂人對節奏、旋律和動態的即時掌控權，AI 負責在背後即時填補音色與伴奏。

把門檻踩平在 Apple Silicon 本地推理上也是關鍵一步，音樂人不需要租雲端算力，插上 MIDI 鍵盤就能即興幹活。雖然現在 200ms 的延遲離職業樂手嚴苛的現場演奏還有一點差距，而且暫時不支援人聲，但這套開源架構已經給下一代智慧樂器搭好了最核心的底座。