Google 開源 Gemma 4 12B：無編碼器直連音訊視覺，16GB 跑上筆記本

Gemma 4 12B 是 Google 最新開源的多模態模型，專門用來讓個人筆記本在本地跑起多步推理的智慧體。

它的定位介於端側輕量級 E4B 和大號的 26B MoE 之間，不僅填補了中端尺寸的空缺，還是 Google 第一個自帶原生音訊輸入能力的同級模型。整個 Gemma 4 系列的下載量目前已經突破了 1.5 億次。

它能做什麼

簡單來說，它能看圖、能聽聲音，還能像大模型一樣執行復雜的 Agent 多步推理，但資源消耗極低。

在各項標準基準測試中，12B 的表現咬得很緊，效能非常逼近體積大得多的 26B MoE 模型。

更實在的是記憶體開銷。它的總記憶體佔用還不到 26B MoE 的一半，只要一臺配有 16GB 視訊記憶體或統一記憶體的消費級筆記本，就能在本地把它完整跑起來。

模型還自帶 Multi-Token Prediction（MTP）預測草稿機制，在推理時一次預測多個 token，專門用來解決端側本地跑大模型容易卡頓、延遲高的問題。

怎麼做到這麼省資源的

以往的多模態模型之所以臃腫，是因為視覺和音訊各自配了一套獨立的編碼器。外界輸入圖片或聲音時，得先過編碼器翻譯一遍，再傳給 LLM 主幹，這既佔視訊記憶體又拖慢速度。

Gemma 4 12B 徹底砍掉了外掛編碼器，採用全原生無編碼器架構，直接把視覺和音訊訊號喂進語言模型主幹。

視覺部分，它用一個極其輕量的嵌入模組取代了傳統視覺編碼器。這個模組本質上只有單次矩陣乘法、位置嵌入和歸一化處理，剩下的特徵提取全交給 LLM 主幹自己算。

音訊處理砍得更乾淨。它連音訊編碼器都不做，直接把原始音訊訊號投影到了和文本 token 相同的維度空間裡。模型把聲音和文字一視同仁，自然省下了大量引數和視訊記憶體。

怎麼跑起來

Google 這次依然遵從 Apache 2.0 協議開源，預訓練和指令微調版本的權重都已經上傳到了 Hugging Face 和 Kaggle，生態支援很完整。

如果你只想動手玩玩，可以在 LM Studio、Ollama、Google AI Edge Gallery 應用或者 LiteRT-LM 命令列裡直接拉取執行。

如果你是開發者，它開箱即支援 llama.cpp、MLX、vLLM、SGLang 以及 Hugging Face Transformers 等主流本地推理工具；要微調的話，也能用 Unsloth 進行高效率微調。

為了方便搭建智慧體，Google 還同步放出了官方的 Skills Repository 技能庫，方便開發者直接給 Gemma 掛載各種 Agent 工具。

為什麼重要

對於本地 AI 開發者和獨立創作者來說，Gemma 4 12B 是目前極其少見能在 16GB 筆記本上全功能閉環的開源多模態利器。以往想在本地同時處理影像和音訊，要麼得拼裝幾個專用模型把視訊記憶體撐爆，要麼只能妥協選智力欠佳的小模型。現在單靠一臺輕薄本就能跑起多模態 Agent，門檻被大幅拉低。

我們認為，Google 選擇無編碼器架構是一個非常務實的思路。它證明了不靠層層堆疊專門模型，直接用語言主幹統一多模態輸入完全行得通，而且能實打實砍掉一半的視訊記憶體冗餘。這可能會逼著其他開源模型社群加速放棄獨立編碼器。