Meta 发布首批 MoE 多模态模型 Llama 4：最高支持千万级上下文

Llama 4 Scout 和 Llama 4 Maverick 是 Meta 最新开源的两个原生多模态大模型。它们最大的变化是转向了混合专家（MoE）架构，并且把图像和文本的理解深度整合在同一套主干网络里，其中 Scout 更是把上下文窗口直接拉到了 1000 万 token。

这次公开权重的两款模型，活跃参数都卡在 170 亿（17B）。这意味着每次生成时，计算量只相当于一个 17B 的密集模型，但总容量分别达到了 1090 亿和 4000 亿，兼顾了推理速度和模型容量。

它能做什么

这两款模型都是原生多模态设计，不再像过去那样给纯文本模型外挂视觉模块，而是直接混合预训练文本、图像与视频帧。官方测试支持最多 48 张图片的输入，在后训练中支持 8 张图片的连续多图理解。

大号的 Llama 4 Maverick 拥有 4000 亿总参数和 128 个专家路由，主要定位是通用全能助手。据 Meta 介绍，它在代码、推理、多语言和图像基准上超过了 GPT-4o 与 Gemini 2.0，在编程与推理任务上还能叫板体量更大的 DeepSeek V3.1。它的指令微调版支持 100 万 token 上下文。

轻量版的 Llama 4 Scout 则把重心放在超长上下文上。它拥有 1090 亿总参数和 16 个专家，指令微调版的上下文窗口达到了创纪录的 1000 万 token。你可以把几百万行的完整代码库或整年份的用户记录一股脑塞给它做交叉分析。

两款模型还吸收了 Meta 正在训练的教师模型 Llama 4 Behemoth 的知识。Behemoth 是一个总参数近两万亿、活跃参数 2880 亿的庞然大物，在 MATH-500 和 GPQA 等测试上超越了 GPT-4.5 和 Claude 3.7 Sonnet。

怎么跑起来与技术细节

要在本地跑起来，Llama 4 Scout 对硬件相对友好。通过 4-bit（Int4）量化后，Scout 可以直接塞进单张英伟达 H100 GPU 运行。如果用 8-bit 或 BF16 精度，则需要多卡环境。

Llama 4 Maverick 由于总参数达到 4000 亿，即便活跃参数只有 17B，全权重仍需要保存在显存中。官方表示它可以在单台八卡英伟达 H100 DGX 主机上部署，同时也提供了 FP8 精度版本降低推理门槛。

长上下文能够冲到 1000 万 token，关键在于一种叫 iRoPE 的注意力架构。Meta 每隔四层交替使用无位置编码层（NoPE）与常规 RoPE 层，在保证全局长距离关联的同时大幅减少了显存开销。

目前两款模型的 Base 与 Instruct 版本权重已上架 Hugging Face 和 llama.com，遵循自定义的 Llama 4 社区许可协议。Hugging Face transformers 4.51.0 已原生支持该架构，官方也同步提供了 TGI 推理镜像。

为什么重要

对开发者和企业来说，Scout 的 1000 万上下文彻底改变了长文本任务的游戏规则。过去处理超大代码库或多本技术手册，必须依赖复杂的 RAG 检索链路；现在只需单次提示词就能把完整资料喂给模型，甚至单张 H100 就能以量化方式把服务搭起来。

我们认为，Meta 这次在架构上的转向非常坚决。MoE 解决了开源模型在算力受限下拼参数量的死局，原生多模态更是追平了闭源前沿模型的技术路径。唯一的门槛仍然是显存，即便是 17B 活跃参数，把上千亿总参数塞进服务器依然需要高规格硬件。但毫无疑问，这是目前开源社区能拿到的最强底座之一。