Google、「PaliGemma 2 mix」公開：プロンプトで多様な画像タスクに対応

PaliGemma 2 mixは、Googleが公開した追加学習不要ですぐに使える視覚言語モデル（VLM）のチェックポイントだ。画像のOCR、詳細なキャプション生成、物体カウントからセグメンテーションまで、プロンプトを入力するだけでこなせる。

Googleは2025年2月19日、PaliGemma 2 mixをリリースした。2024年12月に登場したベースのPaliGemma 2は特定タスク向けにファインチューニングする用途が主だったが、今回のmix版は複数の学術データセットを混ぜて調整済みのため、手元にデータを揃えなくてもダウンロード直後から一般的な画像タスクを処理できる。

何ができるのか

PaliGemma 2 mixの内部構造は、画像エンコーダのSigLIPとテキストモデルのGemma 2を組み合わせた設計になっている。

看板の警告文などを読み取るOCR、画像内のオブジェクトを数えるカウント処理、街並みの細かなディテールを文章にするキャプション生成などを自然な指示で実行できる。前世代のPaliGemmaではタスクごとに厳密な接頭辞を指定する必要があったが、PaliGemma 2 mixでは自由な形式のオープンプロンプトに対応し、精度の向上も確認されている。

固定の接頭辞が必要なのは物体検出（detect）と画像セグメンテーション（segment）の2種類のみだ。ここでも単なる単語のラベルだけでなく、「棒の上にいる鳥」といった具体的なフレーズで対象を指定できる。初代PaliGemma mixを使って開発していた環境であれば、コードを書き換えることなくチェックポイントを差し替えるだけでアップグレードが可能だ。

動かし方とスペック

用途や手元のマシン環境に合わせて選べるよう、サイズ展開は細かく分かれている。

パラメータ数は3B、10B、28Bの3段階で、解像度は224x224や448x448などが用意されている。省メモリで軽快に動かしたいなら3Bの224pxが扱いやすく、小さな文字の認識や込み入った構図の解析には448pxの10Bや28Bが適している。

フレームワークはHugging Face TransformersとJAXに対応しており、Google公式からKerasやJAXのノートブックも提供されている。まずは挙動を確かめたい場合、Hugging Face上のデモページからブラウザ経由で手持ちの画像をテストできる。

注意点として、mix版は汎用的な確認や一般的な処理に向けた調整モデルだ。Google自身も指摘している通り、医療画像解析や特定業界の欠陥検査など尖った精度が求められる領域では、ベースの事前学習済み（pt）モデルを自前データでファインチューニングした方が高い成果を出せる。

なぜ重要か

巨大なマルチモーダルモデルを自前で運用できない現場や、エッジ寄りの環境で画像処理パイプラインを組みたい開発者にとって、3Bから使える実用的な選択肢が一気に増えた。

会話AIとして何でもこなす方向ではなく、OCRや領域抽出といった実務タスクを素早くこなす軽量コンポーネントに徹したGoogleのスタンスは非常に扱いやすい。自前でデータセットを整形して学習させる手間をかけずに、まずはプロトタイプを立ち上げたい人には今すぐ試す価値がある。