Google 釋出 PaliGemma 2 mix：開箱即用，兼顧多項視覺任務

PaliGemma 2 mix 是 Google 推出的一套開箱即用的多模態視覺語言模型檢查點，能直接識別圖片文字、生成詳細圖說、數物體，甚至框出指定目標並做影像分割。

Google 正式上線了 PaliGemma 2 mix。去年 12 月釋出的 PaliGemma 2 預訓練模型原本專門用來給特定下游任務做微調，而這次的 mix 版本則在學術混合任務上做好了後訓練，讓開發者不用自己準備資料微調，下載就能直接上手跑通用任務。

它能做什麼

PaliGemma 2 mix 的底層由 SigLIP 視覺編碼器和 Gemma 2 語言模型組成，能力切換基本全靠 Prompt。

最常見的用法是圖文問答和 OCR。餵給它一張海報或路牌，它能直接提取文字；問它畫面裡有幾顆糖果，它能給出準確數字；讓它詳細描述街景，模型會把建築、車輛、行人的衣著和背包逐一拆解。

在互動方式上，初代 PaliGemma 必須加嚴格的任務字首，而 PaliGemma 2 mix 支援更自然的開放式 Prompt，效果還比字首更好。目前只有兩項精細視覺任務依然需要字首：目標檢測和影像分割。比如輸入一段指令要求檢測某類物體，模型不僅支援簡單的類別名，還能理解複合描述並定位對應區域。

如果你之前在業務裡跑過初代 PaliGemma mix，這次換成 PaliGemma 2 mix 完全不需要改動程式碼或流程，直接替換檢查點就能無縫升級。

怎麼跑起來

Google 這次放出的規格比較完整，覆蓋了不同算力門檻。

模型引數分為 3B、10B 和 28B 三種體量，輸入解析度支援 224x224 和 448x448 等規格。如果你手頭視訊記憶體有限或者追求極高推理速度，用 3B 搭配 224 尺寸就能跑起來；如果做精細文字識別或密集場景分析，選擇 448 解析度的 10B 或 28B 版本表現會明顯更紮實。

程式碼與權重已經全量同步到 Hugging Face 和 Google 官方生態。框架上同時支援 Hugging Face Transformers 和 JAX，Google 還配套提供了 Keras 與 JAX 的官方示例 Notebook。想先看效果的開發者，也可以直接去 Hugging Face 上的線上 Demo 裡上傳圖片體驗。

不過官方也專門提了個醒：mix 檢查點本質上是給常見用例提供即插即用的便利，順便展示底模的潛力上限。如果你的業務是垂類醫學問答、特定工業缺陷檢測這種垂直場景，拿基礎預訓練權重（pt）去自己微調，依然會比通用 mix 效果更好。

為什麼重要

對於需要快速在端側或小顯示卡上搭視覺工作流的獨立開發者和中小團隊來說，PaliGemma 2 mix 極具吸引力。以前想用輕量級多模態底座，往往得先自己洗幾千條資料做一次微調；現在拉取 3B 映象就能直接頂上 OCR 和描述抽取，省掉了不少前期試錯成本。

在開源輕量 VLM 賽道上，Google 這種拆成「預訓練底座主打下游微調，mix 版本兼顧開箱即用」的做法思路很清晰。它沒有強行把模型做成無所不能的大號聊天機器人，而是老老實實做輕便、模組化的視覺積木，值得當下需要快速驗證原型的人一試。