Google 升級 Gemini API:開放 200 萬上下文,自帶程式碼執行沙箱
Google 宣佈向所有開發者開放 Gemini 1.5 Pro 的 200 萬 token 上下文視窗,無需排隊。同時 Gemini API 與 Google AI Studio 上線程式碼執行沙箱,模型可動態生成並執行 Python 程式碼解算複雜推理,開源模型 Gemma 2 也同步加入 AI Studio。

處理幾小時的長影片或者整套專案程式碼庫時,大部分大模型要麼上下文不夠裝不下,要麼算到一半就開始胡言亂語。
Google 宣佈把 Gemini 1.5 Pro 的 200 萬 token 上下文視窗向所有開發者全量放開。之前在 I/O 大會上這項能力還需要排隊申請,現在任何人都能在 API 和 Google AI Studio 裡直接呼叫。
上下文翻倍,還能自己寫 Python 驗算
上下文拉到 200 萬 token,最現實的問題其實不是裝不裝得下,而是呼叫一次要花多少錢。
為了不讓開發者的賬單爆炸,Google 為 Gemini 1.5 Pro 和輕量版 1.5 Flash 同步上線了上下文快取功能。如果你的多個請求共用同一批長材料,系統就會把這部分重複內容快取起來,直接省下一大筆輸入成本。
除了能裝,大模型做數學題和資料分析容易算錯也是老毛病。Google 這次的解法很直接,給 1.5 Pro 和 1.5 Flash 內建了程式碼執行能力。
開啟這個開關後,模型遇到複雜的推理或計算,就會自己生成 Python 程式碼並在後臺沙箱裡跑一下。如果跑出來的結果不對,它還會根據報錯反覆除錯修改,直到得出正確的最終結果。
這個沙箱環境完全不聯網,自帶了常用的數值計算庫。更有意思的是計費方式,Google 並不按程式碼執行耗時收費,只照常收取模型生成的輸出 token 費用。
開源模型進 Studio,小模型迎來微調
新發布的開源模型 Gemma 2 這次也直接被請進了 Google AI Studio。開發者不需要在本地折騰環境,開啟網頁就能直接上手跑測試。
另外,主打速度和價效比的 Gemini 1.5 Flash 也有了新動作。很多團隊希望能把 Flash 調成適合自己業務的專精模型,Google 確認針對 1.5 Flash 的文本微調已經進入紅隊安全評估階段。
這項微調能力即日起逐步向部分開發者推送,預計到 7 月中旬會向所有人開放,屆時可以在 API 和 AI Studio 裡直接操作。
為什麼重要
我們認為,Google 這次最聰明的舉措不是單純秀 200 萬 token 的肌肉,而是同時補齊了上下文快取和程式碼執行這兩塊短板。
超長上下文如果每次呼叫都全額計費,普通開發者根本用不起。有了快取機制,把整本書或幾個小時的會議記錄常駐在模型裡才真正具備了商業可行性。對於經常要處理長音訊、大程式碼倉庫的開發者來說,現在很值得去 AI Studio 跑幾個實際任務測一下成本。
程式碼執行做成內建迴圈同樣非常省心。以前開發者要實現類似效果,得自己搭 LangChain 這類框架,在本地跑沙箱再把報錯喂回大模型。現在 Google 把它變成了原生能力,而且只按輸出 token 算錢,相當於把工程髒活和算力成本全攬了過去。
在行業競爭上,這讓 Gemini 在長文本和嚴謹推理兩個維度拉開了和競品的實用差距。看起來 Google 的隱患主要在於沙箱環境沒有外網訪問許可權,內建的庫也相對基礎,如果面對需要聯網爬取或特殊依賴的資料任務,依然得退回傳統方案。
來源 (1)
- developers.googleblog.com(在新分頁開啟)原文developers.googleblog.com
話題追蹤Google Gemma 系列模型
- Google 上線 Gemma 2:27B 越級打兩倍體量,單卡就能跑
- Google 升級 Gemini API:開放 200 萬上下文,自帶程式碼執行沙箱本則
- Google 聯合 Hugging Face 開源 CodeGemma:主打程式碼補全,輕至 2B
- Google 開源輕量模型 Gemma:筆記本能跑,允許商用