Google 开源实时音乐模型 MRT2：延迟 200ms，Mac 本地就能弹

Google Magenta 团队把实时音乐生成模型 Magenta RealTime 2（简称 MRT2）开源了。它不是那种输入一段话等两分钟再给你完整音频的生成器，而是一个能插上 MIDI 键盘即兴演奏的实时 AI 乐器。

模型分为 2.4B 和 230M 两个版本，延迟做到了 200ms 左右。你可以用文本设定风格，也可以喂一段参考音频，然后直接敲键盘或者给音频信号，模型会在本地按你的按键实时合成音乐。不过目前它只能生成纯器乐，没办法生成带人声的歌曲。

它能做什么，怎么做到的

传统的生成式音乐大模型基本都是离线渲染，本质上是个「提示词换 MP3」的黑盒。MRT2 的逻辑完全变了，它是让模型在运行中实时响应持续的控制信号。

底层机制上，MRT2 基于 SpectroStream 编解码器处理音频 token。模型采用因果滑动窗口注意力机制，既支持无限时长的流式音频生成，又把显存占用死死卡在固定上限，避免长时间演奏出现内存爆炸或声音杂音。

更聪明的地方在于条件注入方式。它通过 MusicCoCa 提取文本或音频的风格特征，并将这些特征连同输入的 MIDI 信号做成逐帧对齐的条件。在每一个 40ms 的音频帧生成步里，模型都能感知到输入的变化，最终把整体端到端延迟压到约 200ms，比初代 Magenta RealTime 快了大约 15 倍。

怎么跑起来，开放到什么程度

这一次 Google 不只放了模型权重，还把整套推理工具链都交了出来。初代模型需要昂贵的高性能 GPU 或 TPU 才能跑，而 MRT2 主打的是音乐人手里最常见的设备。

团队用苹果的 MLX 框架写了一套 C++ 推理引擎，把模型计算图和权重打包成文件，直接调用 Apple Silicon 芯片的 GPU。只要你有一台搭载 M 系列芯片的 Mac，就能在本地原生运行实时流式音频合成，完全不用联网。

代码方面，Google 发布了开源 Python 库 magenta-rt，支持 JAX 和 MLX 推理。开源仓库里还附带了独立运行的 App 示例，甚至可以直接把引擎当成插件接入 DAW（数字音频工作站）等专业宿主软件。

想体验的话，Mac 用户可以直接下载官方发布的示例应用体验预设乐器；开发者也可以通过 pip 安装 magenta-rt 库，在自己的音频工程里调用开源权重。

为什么重要

我们认为，MRT2 最聪明的地方在于把 AI 从「替代编曲人」降维成了「编曲人手中的合成器插件」。现在的商业音乐 AI 都在拼谁能一键生成几分钟的流行歌，但真正的音乐制作人根本没法把这种黑盒放进工作流。MRT2 走通了一条完全不同的路：它保留了音乐人对节奏、旋律和动态的即时掌控权，AI 负责在背后实时填补音色与伴奏。

把门槛踩平在 Apple Silicon 本地推理上也是关键一步，音乐人不需要租云端算力，插上 MIDI 键盘就能即兴干活。虽然现在 200ms 的延迟离职业乐手严苛的现场演奏还有一点差距，而且暂时不支持人声，但这套开源架构已经给下一代智能乐器搭好了最核心的底座。