跳到正文
IFAI

開源專案

美團開源 1.6 萬億引數 LongCat 2.0:脫離輝達硬體訓出前沿大模型

首次發布 傳播指數 48

美團開源 1.6 萬億引數 MoE 模型 LongCat 2.0,單 token 啟用約 480 億引數。最受關注的是,其超 35 萬億 token 的預訓練完全基於 AI ASIC 超級叢集完成,沒有使用輝達 GPU,證明前沿大模型訓練能夠依託替代硬體平臺走通。

美團開源 1.6 萬億引數 LongCat 2.0:脫離輝達硬體訓出前沿大模型
圖:huggingface.co

美團開源的 LongCat 2.0 是一個總引數量達 1.6 萬億的混合專家(MoE)模型,專為長上下文程式設計和智慧體工作流設計。

它的推理效率很高,雖然總引數量龐大,但在處理每個 token 時僅啟用約 480 億引數。

更惹人注目的是它的訓練底座:美團在完全沒有使用輝達 GPU 的情況下,依託 AI ASIC 超級叢集完成了整個模型的預訓練和大規模部署。

預訓練過程跨越了數百萬加速器日和超過 35 萬億 token。整個訓練期間沒有發生過一次版本回滾,也沒有出現不可恢復的損失突增(loss spike),這直接證明了在非輝達替代硬體平臺上也能跑通前沿大模型的大規模訓練。業內有傳聞稱,這些底座算力可能來自華為晶片。

它是怎麼做到的

為了處理百萬級長文本,LongCat 2.0 引入了長貓稀疏注意力機制(LongCat Sparse Attention,簡稱 LSA)。

這項機制通過流式感知索引將碎片化記憶體訪問整理為硬體友好的順序讀取,再結合跨層索引和分層索引兩級粗精篩選,大幅壓縮了注意力計算開銷,同時還能無縫複用到多 token 預測模組。

模型還延續了先前版本的 N-gram Embedding 設計,在模型中引入了 1350 億專門的 N-gram 引數,在 MoE 之外開闢了新的引數擴充套件維度。

配合專用後訓練和數千億 token 的 100 萬上下文資料訓練,它在智慧體和程式設計基準測試中表現突出。官方資料顯示,在 Terminal-Bench 2.1、SWE-bench 等智慧體程式設計評測中,它的得分逼近 GPT-5.5 和 Claude Opus 系列,部分指標甚至超過了 Gemini 3.1 Pro。

硬體要求與怎麼上手

LongCat 2.0 已經完全按照 MIT 許可證開源了模型權重,允許自由商用與修改。

但普通個人電腦完全無法直接載入它:即使是 FP8 精度版本,模型體積也超過了 2TB,必須依賴企業級多卡叢集才能部署執行。

在部署生態上,官方提供了完整的執行指令碼,支援接入 SGLang 和 vLLM,不僅能跑在企業級 GPU 上,還專門支援了 NPU 平臺。同時它深度適配了 Claude Code、OpenClaw 和 Hermes 等主流智慧體框架,可以用來完成程式碼庫編輯、資料分析或生成完整 Web 應用。

讀者可以在 Hugging Face 上搜索下載「meituan-longcat/LongCat-2.0」權重,或者直接在 longcat.ai 網頁端體驗實際對話。

為什麼重要

對於大部分個人開發者來說,現階段 2TB 的體積意味著你只能通過網頁端體驗,或者等待開源社群後續推出更高壓縮比的量化版本。

但對於有算力叢集的企業和開發者,LongCat 2.0 證明了開源前沿模型在智慧體程式碼能力上已經緊咬閉源一線選手,而且 MIT 許可證給二次開發和私有化整合留足了空間。

更關鍵的訊號在硬體生態:長期以來,前沿大模型訓練幾乎被輝達算力壟斷。美團這次證明了不用輝達卡也能穩定訓出萬億級模型,沒有遭遇致命崩盤。這很可能會加速國內大廠全面轉向自研或國產專用 AI 晶片的節奏。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選