Google、マルチモーダルと128Kコンテキスト対応の「T5Gemma 2」を発表
GoogleはGemma 3ベースの次世代エンコーダー・デコーダーモデル「T5Gemma 2」を発表した。同構造として初めてマルチモーダルと128Kトークンの長文脈に対応。注意機構の統合などにより約3.7億〜70億パラメータに小型化し、オンデバイス向け事前学習済みモデルとして提供する。
GoogleはGemma 3ベースの次世代エンコーダー・デコーダーモデル「T5Gemma 2」を発表した。同構造として初めてマルチモーダルと128Kトークンの長文脈に対応。注意機構の統合などにより約3.7億〜70億パラメータに小型化し、オンデバイス向け事前学習済みモデルとして提供する。