Meta 釋出首批 MoE 多模態模型 Llama 4：最高支援千萬級上下文

Llama 4 Scout 和 Llama 4 Maverick 是 Meta 最新開源的兩個原生多模態大模型。它們最大的變化是轉向了混合專家（MoE）架構，並且把影像和文本的理解深度整合在同一套主幹網路裡，其中 Scout 更是把上下文視窗直接拉到了 1000 萬 token。

這次公開權重的兩款模型，活躍引數都卡在 170 億（17B）。這意味著每次生成時，計算量只相當於一個 17B 的密集模型，但總容量分別達到了 1090 億和 4000 億，兼顧了推理速度和模型容量。

它能做什麼

這兩款模型都是原生多模態設計，不再像過去那樣給純文本模型外掛視覺模組，而是直接混合預訓練文本、影像與影片幀。官方測試支援最多 48 張圖片的輸入，在後訓練中支援 8 張圖片的連續多圖理解。

大號的 Llama 4 Maverick 擁有 4000 億總引數和 128 個專家路由，主要定位是通用全能助手。據 Meta 介紹，它在程式碼、推理、多語言和影像基準上超過了 GPT-4o 與 Gemini 2.0，在程式設計與推理任務上還能叫板體量更大的 DeepSeek V3.1。它的指令微調版支援 100 萬 token 上下文。

輕量版的 Llama 4 Scout 則把重心放在超長上下文上。它擁有 1090 億總引數和 16 個專家，指令微調版的上下文視窗達到了創紀錄的 1000 萬 token。你可以把幾百萬行的完整程式碼庫或整年份的使用者記錄一股腦塞給它做交叉分析。

兩款模型還吸收了 Meta 正在訓練的教師模型 Llama 4 Behemoth 的知識。Behemoth 是一個總引數近兩萬億、活躍引數 2880 億的龐然大物，在 MATH-500 和 GPQA 等測試上超越了 GPT-4.5 和 Claude 3.7 Sonnet。

怎麼跑起來與技術細節

要在本地跑起來，Llama 4 Scout 對硬體相對友好。通過 4-bit（Int4）量化後，Scout 可以直接塞進單張輝達 H100 GPU 執行。如果用 8-bit 或 BF16 精度，則需要多卡環境。

Llama 4 Maverick 由於總引數達到 4000 億，即便活躍引數只有 17B，全權重仍需要儲存在視訊記憶體中。官方表示它可以在單臺八卡輝達 H100 DGX 主機上部署，同時也提供了 FP8 精度版本降低推理門檻。

長上下文能夠衝到 1000 萬 token，關鍵在於一種叫 iRoPE 的注意力架構。Meta 每隔四層交替使用無位置編碼層（NoPE）與常規 RoPE 層，在保證全域性長距離關聯的同時大幅減少了視訊記憶體開銷。

目前兩款模型的 Base 與 Instruct 版本權重已上架 Hugging Face 和 llama.com，遵循自定義的 Llama 4 社群許可協議。Hugging Face transformers 4.51.0 已原生支援該架構，官方也同步提供了 TGI 推理映象。

為什麼重要

對開發者和企業來說，Scout 的 1000 萬上下文徹底改變了長文本任務的遊戲規則。過去處理超大程式碼庫或多本技術手冊，必須依賴複雜的 RAG 檢索鏈路；現在只需單次提示詞就能把完整資料餵給模型，甚至單張 H100 就能以量化方式把服務搭起來。

我們認為，Meta 這次在架構上的轉向非常堅決。MoE 解決了開源模型在算力受限下拼引數量的死局，原生多模態更是追平了閉源前沿模型的技術路徑。唯一的門檻仍然是視訊記憶體，即便是 17B 活躍引數，把上千億總引數塞進伺服器依然需要高規格硬體。但毫無疑問，這是目前開源社群能拿到的最強底座之一。