Google 发布 PaliGemma 2 mix：开箱即用，兼顾多项视觉任务

PaliGemma 2 mix 是 Google 推出的一套开箱即用的多模态视觉语言模型检查点，能直接识别图片文字、生成详细图说、数物体，甚至框出指定目标并做图像分割。

Google 正式上线了 PaliGemma 2 mix。去年 12 月发布的 PaliGemma 2 预训练模型原本专门用来给特定下游任务做微调，而这次的 mix 版本则在学术混合任务上做好了后训练，让开发者不用自己准备数据微调，下载就能直接上手跑通用任务。

它能做什么

PaliGemma 2 mix 的底层由 SigLIP 视觉编码器和 Gemma 2 语言模型组成，能力切换基本全靠 Prompt。

最常见的用法是图文问答和 OCR。喂给它一张海报或路牌，它能直接提取文字；问它画面里有几颗糖果，它能给出准确数字；让它详细描述街景，模型会把建筑、车辆、行人的衣着和背包逐一拆解。

在交互方式上，初代 PaliGemma 必须加严格的任务前缀，而 PaliGemma 2 mix 支持更自然的开放式 Prompt，效果还比前缀更好。目前只有两项精细视觉任务依然需要前缀：目标检测和图像分割。比如输入一段指令要求检测某类物体，模型不仅支持简单的类别名，还能理解复合描述并定位对应区域。

如果你之前在业务里跑过初代 PaliGemma mix，这次换成 PaliGemma 2 mix 完全不需要改动代码或流程，直接替换检查点就能无缝升级。

怎么跑起来

Google 这次放出的规格比较完整，覆盖了不同算力门槛。

模型参数分为 3B、10B 和 28B 三种体量，输入分辨率支持 224x224 和 448x448 等规格。如果你手头显存有限或者追求极高推理速度，用 3B 搭配 224 尺寸就能跑起来；如果做精细文字识别或密集场景分析，选择 448 分辨率的 10B 或 28B 版本表现会明显更扎实。

代码与权重已经全量同步到 Hugging Face 和 Google 官方生态。框架上同时支持 Hugging Face Transformers 和 JAX，Google 还配套提供了 Keras 与 JAX 的官方示例 Notebook。想先看效果的开发者，也可以直接去 Hugging Face 上的在线 Demo 里上传图片体验。

不过官方也专门提了个醒：mix 检查点本质上是给常见用例提供即插即用的便利，顺便展示底模的潜力上限。如果你的业务是垂类医学问答、特定工业缺陷检测这种垂直场景，拿基础预训练权重（pt）去自己微调，依然会比通用 mix 效果更好。

为什么重要

对于需要快速在端侧或小显卡上搭视觉工作流的独立开发者和中小团队来说，PaliGemma 2 mix 极具吸引力。以前想用轻量级多模态底座，往往得先自己洗几千条数据做一次微调；现在拉取 3B 镜像就能直接顶上 OCR 和描述抽取，省掉了不少前期试错成本。

在开源轻量 VLM 赛道上，Google 这种拆成「预训练底座主打下游微调，mix 版本兼顾开箱即用」的做法思路很清晰。它没有强行把模型做成无所不能的大号聊天机器人，而是老老实实做轻便、模块化的视觉积木，值得当下需要快速验证原型的人一试。