Google 開源輕量模型 Gemma：筆記本能跑，允許商用

Gemma 是 Google 推出的一組輕量級開源大語言模型，能讓你在普通的筆記本或桌上型電腦上直接本地執行頂尖的語言模型。

它基於打造 Gemini 的同套架構與技術構建，分為 2B 和 7B 兩個引數規格，每個規格都同時提供預訓練基座模型和指令微調版本，上下文長度均為 8K token。

它能做什麼與硬體要求

Gemma 專為端側計算和本地開發最佳化。得益於較小的體積，你完全不需要動用昂貴的多卡算力叢集，就能在個人裝置上跑起這套模型。

2B 版本適合在普通 CPU、移動裝置或單張入門顯示卡上部署，在消費級硬體上甚至無需量化就能直接執行。7B 版本則更適合消費級 GPU、TPU 或工作站環境。

Google 對 Gemma 開放了權重，並採用了較為寬鬆的專屬許可協議，無論團隊規模大小，都允許進行商業化落地。同時配套提供的還有負責任生成式 AI 工具包，用來幫助開發者排查模型偏見並搭建安全防護層。

實際效果與同類對比

根據 Hugging Face 榜單公佈的資料，7B 版本的預訓練模型在 6T token 的海量資料上訓練而成，基準測試跑分達到 63.75。這個成績不僅遠超 Llama 2 7B 的 54.32 分，也超過了同級別的開源標杆 Mistral 7B 的 60.97 分，逼近引數量大得多的 Llama 2 70B。

2B 版本在 2T token 上完成訓練，跑分為 46.51 分。雖然在輕量模型裡表現不錯，但面對引數規模接近的微軟 Phi-2（61.33 分），在純基準跑分上依然稍遜一籌。

需要注意的是，Gemma 的 Instruct 版本採用了非常嚴格的對話標記結構，包含特定的前後綴標記。如果想要微調出穩定的聊天效果，必須嚴格遵循這套格式。

怎麼上手和試用

整個開源生態對 Gemma 的適配非常迅速。程式碼層面，它原生支援 PyTorch、JAX，以及通過 Keras 3.0 相容 TensorFlow。Hugging Face 在 Transformers 4.38 版本中已經全面支援 Gemma，支援 4-bit 量化和單卡微調。

想要立刻體驗的話，可以在 Hugging Face Hub 上直接下載權重，或者在 Hugging Chat 上體驗線上指令對話 Demo。

如果你習慣線上 Notebook，Kaggle 和 Colab 均提供了開箱即用的免費執行環境。Google Cloud 也為新註冊使用者提供 300 美元的雲端資源額度，方便在 Vertex AI 上一鍵部署。

為什麼重要

如果你是獨立開發者或正在為邊緣端、本地裝置尋找語言模型，Gemma 7B 非常值得現在上手替換舊有的 7B 模型。它在保持極低執行門檻的同時，把同尺寸模型的實際理解能力拉到了新的高度。

對開源領域來說，Google 拿出了自家的 Gemini 核心技術下場開源，直接給 Meta 的 Llama 家族和 Mistral 帶來了直接壓力。輕量、低硬體要求且允許商用的開源小模型，正在迅速成為開發者生態中最實用的主力軍。