跳到正文
IFAI

開源專案

MiniMax 開源 MiniMax-01 系列:支援 400 萬超長上下文

首次發布 傳播指數 50

MiniMax 開源了 MiniMax-01 系列模型,包括語言模型 MiniMax-Text-01 與多模態模型 MiniMax-VL-01。模型總引數達 4560 億,採用 Lightning Attention 線性注意力架構,支援高達 400 萬 token 上下文。兩款模型權重已在 GitHub 開放。

MiniMax-01 系列包含兩款剛開源的大模型:基礎語言模型 MiniMax-Text-01,以及視覺多模態模型 MiniMax-VL-01。它們最核心的賣點,就是能一次性吃下高達 400 萬 token 的上下文,比主流前沿模型多出 20 到 32 倍。

這意味著你可以直接把幾十本厚書、幾百兆的複雜程式碼倉庫,或者一整套專案的音影片記錄一次性塞給它,讓它在超長跨度裡做理解、分析和跨文件推理。

怎麼做到 400 萬上下文還不卡

傳統的 Transformer 架構算力消耗隨輸入長度平方級增長,上下文一旦拉長到百萬級,算力開銷就難以承受。MiniMax 這次換了個思路,在商用大模型上首次大規模落地了線性注意力機制 Lightning Attention。

具體結構上,模型內部每 8 層做一個組合,其中 7 層採用計算複雜度接近線性的 Lightning Attention,只有 1 層保留傳統的 SoftMax 注意力。這樣既守住了深層語義的精細關聯,又把長輸入的計算開銷壓到了極低。

整套模型總引數達到 4560 億,採用 MoE 架構,每次推理實際啟用 459 億引數。根據官方資料,在 400 萬 token 的「大海撈針」檢索測試中,MiniMax-Text-01 做到了 100% 的準確率,而且隨著輸入長度拉長,效能衰減非常小。

開放程度與怎麼上手

目前 MiniMax 已經在 GitHub(github.com/MiniMax-AI)公開了 MiniMax-Text-01 和 MiniMax-VL-01 的完整模型權重,官方承諾後續還會定期更新程式碼和多模態能力。

不過 4560 億引數的體量決定了本地私有化部署需要極其豪華的顯示卡叢集,並不適合普通開發者在個人工作站上折騰。

如果你只是想體驗它的長文本理解能力,可以在 MiniMax Chat 網頁端直接上手。需要接入產品的開發者,也可以走官方開放平臺的 API,標準呼叫價格定在每百萬輸入 token 0.2 美元、每百萬輸出 token 1.1 美元。

為什麼重要

對於需要構建複雜 AI Agent、跨文件分析工具或者超長專案程式碼助手的團隊來說,MiniMax-01 是目前開源圈子裡少有的 400 萬 token 級別龐然大物。如果你受夠了上下文視窗擠爆、切片檢索丟上下文的折磨,它很值得一試。

我們認為,這也是線性注意力架構第一次在數千億引數規模上證明了商業可用性。它證明了不靠死磕傳統 Transformer 算力黑洞,靠混合注意力架構同樣能把長文本拉到幾百萬 token,這給開源生態的長上下文探索開了一條很實用的新路。

來源 (1)

  1. [1]
    minimaxi.com(在新分頁開啟)原文minimaxi.com

每日 AI 內容精選