跳到正文
IFAI

開源專案

Google 釋出 Gemma 3 270M:僅 2.7 億引數,專為微調而生

首次發布 傳播指數 47

Google 推出超輕量模型 Gemma 3 270M,引數量僅 2.7 億。它自帶指令遵循和文本結構化能力,專為特定任務微調設計,旨在讓開發者用極低成本與高速度搞定文本分類、資料提取等明確場景。

Google 釋出 Gemma 3 270M:僅 2.7 億引數,專為微調而生
圖:developers.googleblog.com

掛一張相框,沒人會專門掄一把大鐵錘去砸牆。

但在如今的大模型世界裡,很多人為了做個簡單的文本打標或資訊抽取,卻不得不呼叫上千億引數的龐然大物,白白浪費算力和預算。

Google 官方宣佈為 Gemma 3 開源家族增加了一位超輕量級新成員:Gemma 3 270M。顧名思義,它的引數量只有 2.7 億,幾乎是主流開源大模型引數的一個零頭。

掛照片何必用大鐵錘

上週,Google 的 Gemma 全系列模型累計下載量剛突破了 2 億次。在這之前,Google 已經陸續拿出了 Gemma 3、針對推理加速量化的 Gemma 3 QAT,以及面向移動端多模態的 Gemma 3n。

這次推出的 270M 走了一條完全不同的路線。Google 直言在工程世界裡,成功取決於效率而不僅是純粹的算力,它踐行的是「合適工具幹合適的事」這一原則。

Gemma 3 270M 從一開始就是為特定任務微調而設計的。雖然個頭極小,但官方在預訓練階段就給它打底了相當強的指令遵循能力和結構化文本處理能力。

它繼承了整個 Gemma 3 家族的基礎架構,官方也同步放出了完整的全引數微調指南和配套工具。Google 甚至用它搭了一個睡前故事生成器的 Web 演示,證明輕量級模型同樣能處理創意類場景。

從 4B 縮小到 270M 的專業化試驗

小模型搞專業化微調,到底能不能打過通用大模型?Google 拿出了真實落地案例來證明可行性。

此前 Adaptive ML 與韓國電信巨頭 SK Telecom 合作,需要解決複雜的多語言內容稽核問題。他們沒有呼叫通用的超大模型,而是對 Gemma 3 4B 進行了專門的微調。

最終結果顯示,經過專項微調後的 4B 模型在內容稽核任務上,表現不僅達到了要求,甚至超過了體量大得多的專有商業模型。

Google 推出 270M,就是希望開發者把這種思路推向極致:不再指望一個模型包打天下,而是基於極低成本的小模型,微調出一支各司其職的「小專家模型艦隊」。

為什麼重要

對於開發者和獨立團隊來說,Gemma 3 270M 的核心價值在於極度壓縮的執行與微調成本。2.7 億引數意味著它能在極低配的伺服器、邊緣裝置甚至本地機器上飛速執行,對於文本分類、欄位抽取、日誌分析這類高頻且格式固定的任務,完全沒必要花大價錢呼叫昂貴的大模型 API。

對行業而言,這加速了端側智慧與「專家艦隊」模式的普及。過去大家卷引數規模,現在越來越多人意識到端到端全用大模型在商業上不可持續。Google 藉此進一步降低了 Gemma 生態的准入門檻,把觸角伸到了計算資源最受限的邊緣場景。

我們認為 Google 這一步走得很聰明,它不跟友商死磕幾百億引數的通用榜單,而是提供高度可定製的底層積木。但它的侷限也很明顯:2.7 億引數決定了它天然缺乏複雜的通用推理能力,它不是開箱即用的全能助手,而是一個極度依賴後天微調和資料質量的工業零部件。如果開發者手裡沒有清晰的任務定義和高質量微調資料,就很難發揮出它的價值。

來源 (1)

  1. [1]
    developers.googleblog.com(在新分頁開啟)原文developers.googleblog.com

每日 AI 內容精選