跳到正文
IFAI

开源项目

美团开源 1.6 万亿参数 LongCat 2.0:脱离英伟达硬件训出前沿大模型

首次发布 传播指数 48

美团开源 1.6 万亿参数 MoE 模型 LongCat 2.0,单 token 激活约 480 亿参数。最受关注的是,其超 35 万亿 token 的预训练完全基于 AI ASIC 超级集群完成,没有使用英伟达 GPU,证明前沿大模型训练能够依托替代硬件平台走通。

美团开源 1.6 万亿参数 LongCat 2.0:脱离英伟达硬件训出前沿大模型
图:huggingface.co

美团开源的 LongCat 2.0 是一个总参数量达 1.6 万亿的混合专家(MoE)模型,专为长上下文编程和智能体工作流设计。

它的推理效率很高,虽然总参数量庞大,但在处理每个 token 时仅激活约 480 亿参数。

更惹人注目的是它的训练底座:美团在完全没有使用英伟达 GPU 的情况下,依托 AI ASIC 超级集群完成了整个模型的预训练和大规模部署。

预训练过程跨越了数百万加速器日和超过 35 万亿 token。整个训练期间没有发生过一次版本回滚,也没有出现不可恢复的损失突增(loss spike),这直接证明了在非英伟达替代硬件平台上也能跑通前沿大模型的大规模训练。业内有传闻称,这些底座算力可能来自华为芯片。

它是怎么做到的

为了处理百万级长文本,LongCat 2.0 引入了长猫稀疏注意力机制(LongCat Sparse Attention,简称 LSA)。

这项机制通过流式感知索引将碎片化内存访问整理为硬件友好的顺序读取,再结合跨层索引和分层索引两级粗精筛选,大幅压缩了注意力计算开销,同时还能无缝复用到多 token 预测模块。

模型还延续了先前版本的 N-gram Embedding 设计,在模型中引入了 1350 亿专门的 N-gram 参数,在 MoE 之外开辟了新的参数扩展维度。

配合专用后训练和数千亿 token 的 100 万上下文数据训练,它在智能体和编程基准测试中表现突出。官方数据显示,在 Terminal-Bench 2.1、SWE-bench 等智能体编程评测中,它的得分逼近 GPT-5.5 和 Claude Opus 系列,部分指标甚至超过了 Gemini 3.1 Pro。

硬件要求与怎么上手

LongCat 2.0 已经完全按照 MIT 许可证开源了模型权重,允许自由商用与修改。

但普通个人电脑完全无法直接加载它:即使是 FP8 精度版本,模型体积也超过了 2TB,必须依赖企业级多卡集群才能部署运行。

在部署生态上,官方提供了完整的运行脚本,支持接入 SGLang 和 vLLM,不仅能跑在企业级 GPU 上,还专门支持了 NPU 平台。同时它深度适配了 Claude Code、OpenClaw 和 Hermes 等主流智能体框架,可以用来完成代码库编辑、数据分析或生成完整 Web 应用。

读者可以在 Hugging Face 上搜索下载「meituan-longcat/LongCat-2.0」权重,或者直接在 longcat.ai 网页端体验实际对话。

为什么重要

对于大部分个人开发者来说,现阶段 2TB 的体积意味着你只能通过网页端体验,或者等待开源社区后续推出更高压缩比的量化版本。

但对于有算力集群的企业和开发者,LongCat 2.0 证明了开源前沿模型在智能体代码能力上已经紧咬闭源一线选手,而且 MIT 许可证给二次开发和私有化集成留足了空间。

更关键的信号在硬件生态:长期以来,前沿大模型训练几乎被英伟达算力垄断。美团这次证明了不用英伟达卡也能稳定训出万亿级模型,没有遭遇致命崩盘。这很可能会加速国内大厂全面转向自研或国产专用 AI 芯片的节奏。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选