MiniMax 开源 MiniMax-01 系列:支持 400 万超长上下文
MiniMax 开源了 MiniMax-01 系列模型,包括语言模型 MiniMax-Text-01 与多模态模型 MiniMax-VL-01。模型总参数达 4560 亿,采用 Lightning Attention 线性注意力架构,支持高达 400 万 token 上下文。两款模型权重已在 GitHub 开放。
MiniMax-01 系列包含两款刚开源的大模型:基础语言模型 MiniMax-Text-01,以及视觉多模态模型 MiniMax-VL-01。它们最核心的卖点,就是能一次性吃下高达 400 万 token 的上下文,比主流前沿模型多出 20 到 32 倍。
这意味着你可以直接把几十本厚书、几百兆的复杂代码仓库,或者一整套项目的音视频记录一次性塞给它,让它在超长跨度里做理解、分析和跨文档推理。
怎么做到 400 万上下文还不卡
传统的 Transformer 架构算力消耗随输入长度平方级增长,上下文一旦拉长到百万级,算力开销就难以承受。MiniMax 这次换了个思路,在商用大模型上首次大规模落地了线性注意力机制 Lightning Attention。
具体结构上,模型内部每 8 层做一个组合,其中 7 层采用计算复杂度接近线性的 Lightning Attention,只有 1 层保留传统的 SoftMax 注意力。这样既守住了深层语义的精细关联,又把长输入的计算开销压到了极低。
整套模型总参数达到 4560 亿,采用 MoE 架构,每次推理实际激活 459 亿参数。根据官方数据,在 400 万 token 的「大海捞针」检索测试中,MiniMax-Text-01 做到了 100% 的准确率,而且随着输入长度拉长,性能衰减非常小。
开放程度与怎么上手
目前 MiniMax 已经在 GitHub(github.com/MiniMax-AI)公开了 MiniMax-Text-01 和 MiniMax-VL-01 的完整模型权重,官方承诺后续还会定期更新代码和多模态能力。
不过 4560 亿参数的体量决定了本地私有化部署需要极其豪华的显卡集群,并不适合普通开发者在个人工作站上折腾。
如果你只是想体验它的长文本理解能力,可以在 MiniMax Chat 网页端直接上手。需要接入产品的开发者,也可以走官方开放平台的 API,标准调用价格定在每百万输入 token 0.2 美元、每百万输出 token 1.1 美元。
为什么重要
对于需要构建复杂 AI Agent、跨文档分析工具或者超长项目代码助手的团队来说,MiniMax-01 是目前开源圈子里少有的 400 万 token 级别庞然大物。如果你受够了上下文窗口挤爆、切片检索丢上下文的折磨,它很值得一试。
我们认为,这也是线性注意力架构第一次在数千亿参数规模上证明了商业可用性。它证明了不靠死磕传统 Transformer 算力黑洞,靠混合注意力架构同样能把长文本拉到几百万 token,这给开源生态的长上下文探索开了一条很实用的新路。
来源 (1)
- minimaxi.com(在新标签页打开)原文minimaxi.com