Google 釋出 T5Gemma 2：首個支援多模態與 128K 上下文的編碼器-解碼器模型

T5Gemma 2 是 Google 推出的新一代開源編碼器-解碼器模型家族。它基於 Gemma 3 打造，也是同類架構裡第一個同時支援多模態影像理解和 128K 超長上下文的模型。

如果你在尋找適合塞進手機或邊緣裝置、專門用來做特定任務微調的輕量模型，它就是奔著這個場景來的。

它能做什麼

T5Gemma 2 支援同時輸入影像與文本，利用高效的視覺編碼器完成視覺問答和多模態推理。

得益於 Gemma 3 的交替區域性與全域性注意力機制，它的上下文視窗直接拉到了 128K token，同時開箱支援超過 140 種語言。

在規格上，Google 提供了三種非常緊湊的尺寸。最小的 270M-270M 版本不計視覺編碼器總引數量僅約 3.7 億，中號的 1B-1B 約為 17 億，最大的 4B-4B 約為 70 億，記憶體佔用極低。

在基準測試裡，無論是程式設計、邏輯推理還是多模態能力，T5Gemma 2 的表現普遍超越了對應的解碼器單向模型 Gemma 3，在長文本處理上的提升尤為明顯。

架構上動了哪些刀

為了把模型做小做快，Google 沒有沿用傳統 T5 的老路子，而是在架構上做了兩項關鍵精簡。

首先是繫結詞嵌入。模型讓編碼器和解碼器共用同一套詞嵌入引數，大幅砍掉了冗餘權重，讓僅有 3.7 億引數的小版本也能塞進完整的核心能力。

其次是合併注意力層。解碼器裡的自注意力和交叉注意力被捏合成了一個統一的注意力層，不僅減少了引數，還降低了結構複雜度，有利於推理時的並行加速。

上手與限制

需要注意的是，Google 這次只放出了預訓練權重，並沒有提供開箱即用的指令微調版本。

官方展示的高分測試只經過了不帶強化學習的極簡微調。也就是說，它不能直接當成對話助手來聊天，必須由開發者拿回去針對具體任務做二次微調或後訓練才能上線部署。

目前這些預訓練檢查點已經上線多個主流開源平臺，開發者可以直接下載權重並接入自己的訓練流程。

為什麼重要

長期以來，端側多模態幾乎全被解碼器單向模型壟斷，但很多端側任務如文件資訊抽取、分類和視覺問答，天然更適合編碼器-解碼器架構。

對於移動端和嵌入式開發者來說，T5Gemma 2 提供了一個極低視訊記憶體門檻的選擇，讓你用幾億引數就能跑起具備 128K 上下文的多模態任務。雖然需要自己動手微調，但對垂直場景落地來說，它的推理效率和結構優勢非常值得一試。