跳到正文
IFAI

大模型

Google 上線 Gemini 1.5 Flash-8B 正式版:限速翻倍至 4000 RPM

首次發布 傳播指數 50

Google 宣佈輕量模型 Gemini 1.5 Flash-8B 正式面向生產環境可用。它的效能接近原版 1.5 Flash,呼叫單價在所有 Gemini 模型中最低,併發限速也翻倍至每分鐘 4000 次請求,適合大批次呼叫場景。

Google 上線 Gemini 1.5 Flash-8B 正式版:限速翻倍至 4000 RPM
圖:developers.googleblog.com

想用大模型做點高頻任務,開發者最怕的往往不是效果不夠好,而是月底賬單直接爆炸。

Google 正式宣佈 Gemini 1.5 Flash-8B 結束實驗階段,進入正式商用。這個版本上個月剛放出測試版,現在就已經可以用來跑線上生產業務了。

開發者可以直接在 Google AI Studio 和 Gemini API 免費體驗,付費通道則定在 10 月 14 日週一開始正式計費。

砍到 8B,但長文本沒縮水

今年 5 月的 I/O 大會上,Google 拿出了主打速度和輕量的 Gemini 1.5 Flash。這次的 Flash-8B 則是把它進一步壓縮,體量更小、速度更快。

Google 表示,在很多基準測試裡,這個只有 8B 引數的小模型,表現幾乎追平了 5 月份釋出的第一版 1.5 Flash。

它最拿手的場景包括常規對話、音訊轉錄,以及超長上下文的跨語言翻譯。另外在海量多模態請求和大長篇總結任務上,它的表現也比較搶眼。

雖然體量變小了,但 1.5 家族標誌性的長上下文能力依然在。對於需要一遍遍吞進大量資料、做基礎資訊提取的場景,它幾乎就是量身定做的。

吞吐翻倍,專治高併發

為了讓開發者敢放開了用,Google 這次給的定價據稱是所有 Gemini 模型裡單位智慧成本最低的一個。

除了把價格打下來,呼叫上限也大幅放寬。Google 直接把 Flash-8B 的呼叫速率限制翻了一倍,每分鐘最高可以承受 4000 次請求(4000 RPM)。

說白了,它的定位根本不是跟旗艦模型比拼複雜的邏輯推理,而是幫開發者解決海量、高頻、單次邏輯相對簡單的重活累活。

為什麼重要

如果你的業務每天要處理海量聊天記錄、長音訊整理或者批次文件提取,這個模型現在就值得換上去試試。以前用旗艦模型跑這些任務純屬大炮打蚊子,賬單根本頂不住;現在換成 8B 級別,效能沒怎麼降,成本卻能砍掉一大截。

我們認為,Google 這一步走得相當實在。大模型競爭打到今天,前沿模型的智商天花板固然重要,但真正能跑通商業模式的,是那些極其便宜、響應極快的小尺寸端側和雲端輕量模型。

看起來 Google 的策略很清晰:用 Pro 保住技術名聲,用 Flash 和 Flash-8B 在 API 市場上打價格戰和吞吐戰,逼著 OpenAI 和其他開源服務商也得在小模型吞吐上繼續跟進。

不過隱患也在於任務邊界。小模型終究是小模型,處理簡單高頻任務很順手,一旦涉及複雜的長邏輯推導,幻覺和理解偏差肯定比大尺寸版本更容易冒出來,工程落地時依然得做好兜底和校驗。

來源 (1)

  1. [1]
    developers.googleblog.com(在新分頁開啟)原文developers.googleblog.com

話題追蹤Google Gemini 模型系列

這個話題的歷次新聞,最新的在上面。

  1. Google 擴充套件 Veo 3:AI Ultra 進英國,手機端 Gemini 也能生成影片
  2. Google Veo 3 擴大開放:新增 71 國,Gemini 與 Flow 額度上調
  3. Google推出頂級訂閱AI Ultra:月費249.99美元打包最新模型
  4. Google 程式設計智慧體 Jules 開啟公測:非同步改程式碼,還能聽更新
  5. Google 升級 Gemini:Live 視覺功能免費,內建 Veo 3 與 Imagen 4

每日 AI 內容精選