Google 开源 Gemma 4 12B：无编码器直连音频视觉，16GB 跑上笔记本

Gemma 4 12B 是 Google 最新开源的多模态模型，专门用来让个人笔记本在本地跑起多步推理的智能体。

它的定位介于端侧轻量级 E4B 和大号的 26B MoE 之间，不仅填补了中端尺寸的空缺，还是 Google 第一个自带原生音频输入能力的同级模型。整个 Gemma 4 系列的下载量目前已经突破了 1.5 亿次。

它能做什么

简单来说，它能看图、能听声音，还能像大模型一样执行复杂的 Agent 多步推理，但资源消耗极低。

在各项标准基准测试中，12B 的表现咬得很紧，性能非常逼近体积大得多的 26B MoE 模型。

更实在的是内存开销。它的总内存占用还不到 26B MoE 的一半，只要一台配有 16GB 显存或统一内存的消费级笔记本，就能在本地把它完整跑起来。

模型还自带 Multi-Token Prediction（MTP）预测草稿机制，在推理时一次预测多个 token，专门用来解决端侧本地跑大模型容易卡顿、延迟高的问题。

怎么做到这么省资源的

以往的多模态模型之所以臃肿，是因为视觉和音频各自配了一套独立的编码器。外界输入图片或声音时，得先过编码器翻译一遍，再传给 LLM 主干，这既占显存又拖慢速度。

Gemma 4 12B 彻底砍掉了外挂编码器，采用全原生无编码器架构，直接把视觉和音频信号喂进语言模型主干。

视觉部分，它用一个极其轻量的嵌入模块取代了传统视觉编码器。这个模块本质上只有单次矩阵乘法、位置嵌入和归一化处理，剩下的特征提取全交给 LLM 主干自己算。

音频处理砍得更干净。它连音频编码器都不做，直接把原始音频信号投影到了和文本 token 相同的维度空间里。模型把声音和文字一视同仁，自然省下了大量参数和显存。

怎么跑起来

Google 这次依然遵从 Apache 2.0 协议开源，预训练和指令微调版本的权重都已经上传到了 Hugging Face 和 Kaggle，生态支持很完整。

如果你只想动手玩玩，可以在 LM Studio、Ollama、Google AI Edge Gallery 应用或者 LiteRT-LM 命令行里直接拉取运行。

如果你是开发者，它开箱即支持 llama.cpp、MLX、vLLM、SGLang 以及 Hugging Face Transformers 等主流本地推理工具；要微调的话，也能用 Unsloth 进行高效率微调。

为了方便搭建智能体，Google 还同步放出了官方的 Skills Repository 技能库，方便开发者直接给 Gemma 挂载各种 Agent 工具。

为什么重要

对于本地 AI 开发者和独立创作者来说，Gemma 4 12B 是目前极其少见能在 16GB 笔记本上全功能闭环的开源多模态利器。以往想在本地同时处理图像和音频，要么得拼装几个专用模型把显存撑爆，要么只能妥协选智力欠佳的小模型。现在单靠一台轻薄本就能跑起多模态 Agent，门槛被大幅拉低。

我们认为，Google 选择无编码器架构是一个非常务实的思路。它证明了不靠层层堆叠专门模型，直接用语言主干统一多模态输入完全行得通，而且能实打实砍掉一半的显存冗余。这可能会逼着其他开源模型社区加速放弃独立编码器。