Google、マルチモーダルと128Kコンテキスト対応の「T5Gemma 2」を発表

T5Gemma 2は、GoogleがGemma 3をベースに構築した次世代のオープンなエンコーダー・デコーダーモデルファミリーです。同アーキテクチャとして初めて、マルチモーダルな画像処理と128Kトークンの長文脈に対応しました。

エッジデバイスやスマートフォン上で特定タスク向けに軽量モデルを動かしたい開発者にとって、まさに待望の基盤モデルです。

何ができるのか

T5Gemma 2は、高効率なビジョンエンコーダーを通じて画像とテキストを同時に理解し、視覚的な質問応答や推論タスクをこなします。

Gemma 3譲りの局所・大域交互注意機構により、最大128Kトークンの文脈長を処理でき、140以上の言語に対応しています。

モデルサイズは3種類用意されています。最小の270M-270M版はビジョンエンコーダーを除いて約3.7億パラメータ、中間サイズの1B-1Bは約17億、最大サイズの4B-4Bは約70億パラメータと、いずれもオンデバイス動作を強く意識した極小サイズです。

性能面では、プログラミングや論理推論、マルチモーダル処理において、同規模のGemma 3を上回るスコアを記録しており、特に長文脈処理で明らかな優位性を示しています。

どうやって小型化したか

Googleは限られたメモリ内に高い処理能力を詰め込むため、アーキテクチャに2つの大きな改良を施しました。

1つ目はエンコーダーとデコーダー間での単語埋め込みの共有です。重複する重みを大幅に削減したことで、3.7億パラメータの最小モデルでも高い表現力を維持できています。

2つ目はデコーダーにおける注意機構の統合です。自己注意と交差注意をひとつの層にまとめることで、構造をシンプルにし、推論時の並列処理性能を高めました。

注意点と利用方法

注意点として、今回公開されたのは事前学習済みチェックポイントのみであり、チャットボットのようにそのまま対話できる指示チューニング版は提供されていません。

公式の性能データも強化学習抜きの最小限のファインチューニングで測定されたものです。実務で使うには、開発者がタスクに応じた追加学習を行う必要があります。

事前学習済み重みは、主要なオープンモデル配信プラットフォームですでに提供が始まっています。

なぜ重要か

オンデバイスAIではデコーダー単一構造のモデルが主流でしたが、文書抽出や特定条件の画像分類では、エンコーダー・デコーダー構造のほうが計算効率に優れるケースが少なくありません。

わずか数億〜数十億パラメータで128Kコンテキストと視覚理解を扱える選択肢は貴重です。事前学習後の微調作業は必須ですが、端末側で特定業務を高速処理させたいチームにとっては、すぐに検証する価値があります。