跳到正文
IFAI

开源项目

m-a-p 开源音乐模型 YuE2-3B:先出乐谱再做曲,歌曲质量对标 Suno

首次发布 传播指数 59

开源团队 m-a-p 发布音乐生成模型 YuE2-3B。它在生成音频前先生成可编辑的 ABC 乐谱,支持用户或智能体微调旋律、和弦与歌词后再渲染完整歌曲,并在基准测试中比肩 Suno v5/v6。单张 24GB 显卡 71 秒即可生成 3.6 分钟双声道歌曲。

m-a-p 开源音乐模型 YuE2-3B:先出乐谱再做曲,歌曲质量对标 Suno
图:huggingface.co

开源团队 m-a-p 推出的 YuE2-3B,是一个能用文字提示词和歌词生成带人声、伴奏完整歌曲的开源音乐模型,而且支持在生成前微调乐谱。

以往用 AI 做歌像抽盲盒,提示词写完直接蹦出一段音频,哪里不对只能重新抽卡。YuE2 换了个思路:它不会直接从文字跳到波形,而是先生成一份可读可编辑的 ABC 格式乐谱,规划好旋律、节奏和和弦走向,再把乐谱交给合成模块渲染出成曲。

它能做什么

你可以把一段歌词和曲风提示词喂给它,直接生成整首包含人声与伴奏的双声道音乐。

因为中间夹了一层乐谱,你可以自己动手改 ABC 乐谱,也可以让智能体帮你修改。比如想换个和弦走向、给中段加一段萨克斯独奏,或者直接调整歌词与速度,改完再让它渲染最终音频。

翻唱也是拿手戏。搭配 SheetSage2 这类转录工具,你可以把经典老歌的旋律扒成乐谱,再换一套完全不同的编曲风格渲染出来,例如把《Jingle Bells》重做成重金属风格,或者把《最炫民族风》改写成慢板情歌。

官方还做了一个智能体编辑演示,把同一首曲子经过 9 轮对话、14 个版本,一步步从中文流行慢歌改成了带有复杂和声的英文爵士乐。

怎么跑起来,效果如何

YuE2-3B 底层采用自回归加非自回归的 Mixture-of-Transformers 架构先写乐谱和语义 token,再用流匹配和 VAE 生成 48 kHz 双声道音频。

在 WildSongBench 基准测试中,YuE2 在 best-of-8 设定下的综合评分达到 6.9632,不仅超过了开源竞品 MiniMax Music 3 和 ACE-Step 1.5,也压过了商业模型 Suno v5 的 6.8721 与 Suno v6 的 6.5562。

硬件门槛方面,模型权重没有量化,在单张 24GB 显存的 RTX 4090 显卡上,生成一首 3.6 分钟的歌曲耗时约 71 秒,峰值显存占用大约 11.2 GiB,整卡至少保留 24GB 系统内存即可流畅运行。如果你有多卡服务器,官方还提供基于 vLLM 的高并发部署方案。

代码和模型权重已经全部托管在 Hugging Face 的 m-a-p/YuE2-3B 仓库,通过 pip 安装配套的 yue2_infer 轮子文件就能跑本地推理。官方同时也放出了网页端盲测竞技场,不需要配置环境也能直接去试听投票。

为什么重要

对于音乐制作人、独立游戏开发者和内容创作者来说,YuE2-3B 最大的价值不在于跑分超越了谁,而在于把「黑盒抽卡」变成了可干预的工作流。懂乐理的人可以直接改谱子,不懂的人可以让大模型替自己改,这比反反复复重写提示词靠谱得多。

我们认为,在商业闭源模型普遍收紧控制权的大环境下,能把 3B 规模的音乐模型做到消费级显卡可用、并且开放符号化规划接口,算得上近期开源音频领域最扎实的一次突破。如果你平时有短视频配乐、播客开场曲或歌曲 demo 制作需求,手里正好有一张 24GB 显卡,现在就值得下载跑一跑。

来源 (2)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co
  2. [2]

每日 AI 内容精选