跳到正文
IFAI

大模型

Google 上线 Gemini 1.5 Flash-8B 正式版:限速翻倍至 4000 RPM

首次发布 传播指数 50

Google 宣布轻量模型 Gemini 1.5 Flash-8B 正式面向生产环境可用。它的性能接近原版 1.5 Flash,调用单价在所有 Gemini 模型中最低,并发限速也翻倍至每分钟 4000 次请求,适合大批量调用场景。

Google 上线 Gemini 1.5 Flash-8B 正式版:限速翻倍至 4000 RPM
图:developers.googleblog.com

想用大模型做点高频任务,开发者最怕的往往不是效果不够好,而是月底账单直接爆炸。

Google 正式宣布 Gemini 1.5 Flash-8B 结束实验阶段,进入正式商用。这个版本上个月刚放出测试版,现在就已经可以用来跑线上生产业务了。

开发者可以直接在 Google AI Studio 和 Gemini API 免费体验,付费通道则定在 10 月 14 日周一开始正式计费。

砍到 8B,但长文本没缩水

今年 5 月的 I/O 大会上,Google 拿出了主打速度和轻量的 Gemini 1.5 Flash。这次的 Flash-8B 则是把它进一步压缩,体量更小、速度更快。

Google 表示,在很多基准测试里,这个只有 8B 参数的小模型,表现几乎追平了 5 月份发布的第一版 1.5 Flash。

它最拿手的场景包括常规对话、音频转录,以及超长上下文的跨语言翻译。另外在海量多模态请求和大长篇总结任务上,它的表现也比较抢眼。

虽然体量变小了,但 1.5 家族标志性的长上下文能力依然在。对于需要一遍遍吞进大量资料、做基础信息提取的场景,它几乎就是量身定做的。

吞吐翻倍,专治高并发

为了让开发者敢放开了用,Google 这次给的定价据称是所有 Gemini 模型里单位智能成本最低的一个。

除了把价格打下来,调用上限也大幅放宽。Google 直接把 Flash-8B 的调用速率限制翻了一倍,每分钟最高可以承受 4000 次请求(4000 RPM)。

说白了,它的定位根本不是跟旗舰模型比拼复杂的逻辑推理,而是帮开发者解决海量、高频、单次逻辑相对简单的重活累活。

为什么重要

如果你的业务每天要处理海量聊天记录、长音频整理或者批量文档提取,这个模型现在就值得换上去试试。以前用旗舰模型跑这些任务纯属大炮打蚊子,账单根本顶不住;现在换成 8B 级别,性能没怎么降,成本却能砍掉一大截。

我们认为,Google 这一步走得相当实在。大模型竞争打到今天,前沿模型的智商天花板固然重要,但真正能跑通商业模式的,是那些极其便宜、响应极快的小尺寸端侧和云端轻量模型。

看起来 Google 的策略很清晰:用 Pro 保住技术名声,用 Flash 和 Flash-8B 在 API 市场上打价格战和吞吐战,逼着 OpenAI 和其他开源服务商也得在小模型吞吐上继续跟进。

不过隐患也在于任务边界。小模型终究是小模型,处理简单高频任务很顺手,一旦涉及复杂的长逻辑推导,幻觉和理解偏差肯定比大尺寸版本更容易冒出来,工程落地时依然得做好兜底和校验。

来源 (1)

  1. [1]
    developers.googleblog.com(在新标签页打开)原文developers.googleblog.com

话题追踪Google Gemini 模型系列

这个话题的历次新闻,最新的在上面。

  1. Google 扩展 Veo 3:AI Ultra 进英国,手机端 Gemini 也能生成视频
  2. Google Veo 3 扩大开放:新增 71 国,Gemini 与 Flow 额度上调
  3. Google推出顶级订阅AI Ultra:月费249.99美元打包最新模型
  4. Google 编程智能体 Jules 开启公测:异步改代码,还能听更新
  5. Google 升级 Gemini:Live 视觉功能免费,内置 Veo 3 与 Imagen 4

每日 AI 内容精选