Google 上線 Gemma 2：27B 越級打兩倍體量，單卡就能跑

Google 正式推出的 Gemma 2 是一套輕量級開源大模型，共有 9B 和 27B 兩個引數規格。它們基於 Gemini 相同的技術架構打造，每種尺寸都包含基礎預訓練版和指令微調版，而且採用允許商用的許可協議開源。

這代模型最大的賣點就是越級打怪。27B 版本跑出來的成績，可以直追體量比它大一倍以上的模型，追平了半年前頂尖閉源模型的表現。更關鍵的是它極其省算力，只要一張 NVIDIA H100 顯示卡、A100 80GB 或者單臺 Google Cloud TPU 主機，就能直接跑全精度推理。

較小的 9B 版本同樣兇悍，官方評測裡直接壓過了 Llama 3 8B 和同級別的其他開源模型。後續 Google 還會補上一款更小巧的 2.6B 版本。

它憑什麼能越級發揮

能把小模型榨出大能量，主要是因為底層架構重新做了一遍。Gemma 2 的上下文視窗是 8192 token，採用 RoPE 位置編碼，但塞進了好幾個狠活。

首先是滑動視窗注意力機制。它沒有無腦使用全域性注意力，而是隔一層用一次 4096 視窗的區域性注意力，剩下那一半層維持全域性計算。這樣既保住了長文本理解能力，又省掉了不少視訊記憶體和計算時間。

其次是軟截斷技術，也就是 Logit soft-capping。模型在每層注意力和輸出層給數值設了上限，通過 tanh 函式壓制數值暴增，直接解決了小模型深度訓練容易崩掉的問題。

此外，9B 模型在預訓練階段就直接用了大模型知識蒸餾，讓更大更聰明的老師模型把能力餵給小模型。指令微調階段則拉了更大體量的模型輔助蒸餾，還用上了多模型合併技術。

訓練資料量也比上一代翻了倍。27B 版本啃了整整 13 萬億 token 的資料，9B 版本也吃了 8 萬億 token，主要涵蓋網路文本、程式碼和數學內容。

硬體要求和怎麼上手

這次在生態適配上做得非常快。Hugging Face Transformers、vLLM、Ollama、Keras 3.0、JAX、PyTorch 和 TensorFlow 都已經原生支援。NVIDIA 也為其優化了 TensorRT-LLM 和 NIM 微調推理元件。

部署門檻被壓得很低。27B 版本可以在單個 A100 80GB 或 H100 上跑全精度。如果你是個人玩家，可以用 Gemma.cpp 在本地 CPU 跑量化版本，或者用遊戲筆記本、高階桌上型電腦配合 RTX 顯示卡在本地執行。

模型權重目前已經上傳到了 Hugging Face 和 Kaggle，Google AI Studio 裡也上線了免費測試。雲端使用者還能去 Kaggle 或 Colab 免費配額上玩，下個月 Vertex AI 也會上線託管。

需要注意的是，目前軟截斷機制在推理階段和 Flash Attention 存在一點相容問題，微調時建議切回 eager 模式保證穩定。

為什麼重要

如果你是獨立開發者或中小型團隊，Gemma 2 尤其是 27B 版本絕對是現在的裝機首選。它把原本需要多張專業顯示卡拼接才能執行的高效能模型，壓縮到了單卡就能跑完的水平，直接把部署成本切掉了大半。

對整個開源模型生態來說，Google 這次是用資料配比和蒸餾架構，向開源社群示範了小尺寸到底還能壓榨出多少潛力。我們認為，它給 Meta 的 Llama 3 施加了真正的競爭壓力，未來這種單卡可跑的高密度小模型，會越來越成為端側落地和私有化部署的主戰場。