跳到正文
IFAI

大模型

Google 升级 Gemini API:开放 200 万上下文,自带代码执行沙箱

首次发布 传播指数 51

Google 宣布向所有开发者开放 Gemini 1.5 Pro 的 200 万 token 上下文窗口,无需排队。同时 Gemini API 与 Google AI Studio 上线代码执行沙箱,模型可动态生成并运行 Python 代码解算复杂推理,开源模型 Gemma 2 也同步加入 AI Studio。

Google 升级 Gemini API:开放 200 万上下文,自带代码执行沙箱
图:developers.googleblog.com

处理几小时的长视频或者整套项目代码库时,大部分大模型要么上下文不够装不下,要么算到一半就开始胡言乱语。

Google 宣布把 Gemini 1.5 Pro 的 200 万 token 上下文窗口向所有开发者全量放开。之前在 I/O 大会上这项能力还需要排队申请,现在任何人都能在 API 和 Google AI Studio 里直接调用。

上下文翻倍,还能自己写 Python 验算

上下文拉到 200 万 token,最现实的问题其实不是装不装得下,而是调用一次要花多少钱。

为了不让开发者的账单爆炸,Google 为 Gemini 1.5 Pro 和轻量版 1.5 Flash 同步上线了上下文缓存功能。如果你的多个请求共用同一批长材料,系统就会把这部分重复内容缓存起来,直接省下一大笔输入成本。

除了能装,大模型做数学题和数据分析容易算错也是老毛病。Google 这次的解法很直接,给 1.5 Pro 和 1.5 Flash 内置了代码执行能力。

打开这个开关后,模型遇到复杂的推理或计算,就会自己生成 Python 代码并在后台沙箱里跑一下。如果跑出来的结果不对,它还会根据报错反复调试修改,直到得出正确的最终结果。

这个沙箱环境完全不联网,自带了常用的数值计算库。更有意思的是计费方式,Google 并不按代码运行耗时收费,只照常收取模型生成的输出 token 费用。

开源模型进 Studio,小模型迎来微调

新发布的开源模型 Gemma 2 这次也直接被请进了 Google AI Studio。开发者不需要在本地折腾环境,打开网页就能直接上手跑测试。

另外,主打速度和性价比的 Gemini 1.5 Flash 也有了新动作。很多团队希望能把 Flash 调成适合自己业务的专精模型,Google 确认针对 1.5 Flash 的文本微调已经进入红队安全评估阶段。

这项微调能力即日起逐步向部分开发者推送,预计到 7 月中旬会向所有人开放,届时可以在 API 和 AI Studio 里直接操作。

为什么重要

我们认为,Google 这次最聪明的举措不是单纯秀 200 万 token 的肌肉,而是同时补齐了上下文缓存和代码执行这两块短板。

超长上下文如果每次调用都全额计费,普通开发者根本用不起。有了缓存机制,把整本书或几个小时的会议记录常驻在模型里才真正具备了商业可行性。对于经常要处理长音频、大代码仓库的开发者来说,现在很值得去 AI Studio 跑几个实际任务测一下成本。

代码执行做成内置循环同样非常省心。以前开发者要实现类似效果,得自己搭 LangChain 这类框架,在本地跑沙箱再把报错喂回大模型。现在 Google 把它变成了原生能力,而且只按输出 token 算钱,相当于把工程脏活和算力成本全揽了过去。

在行业竞争上,这让 Gemini 在长文本和严谨推理两个维度拉开了和竞品的实用差距。看起来 Google 的隐患主要在于沙箱环境没有外网访问权限,内置的库也相对基础,如果面对需要联网爬取或特殊依赖的数据任务,依然得退回传统方案。

来源 (1)

  1. [1]
    developers.googleblog.com(在新标签页打开)原文developers.googleblog.com

话题追踪Google Gemma 系列模型

这个话题的历次新闻,最新的在上面。

  1. Google 上线 Gemma 2:27B 越级打两倍体量,单卡就能跑
  2. Google 升级 Gemini API:开放 200 万上下文,自带代码执行沙箱本条
  3. Google 联合 Hugging Face 开源 CodeGemma:主打代码补全,轻至 2B
  4. Google 开源轻量模型 Gemma:笔记本能跑,允许商用

每日 AI 内容精选