跳到正文
IFAI

大模型

Google 发布 PaLM 2:不再卷参数量,驱动新版 Bard 并能跑在手机上

首次发布 传播指数 52

Google 在 I/O 大会上发布新一代大模型 PaLM 2,已接入更新后的 Bard 并通过 API 向开发者开放。它重点提升了数学推理、多语言及编程能力,不仅衍生出 Codey 与 Med-PaLM 2 等专用版本,还包含能在手机上每秒跑 20 个 token 的端侧轻量版。

Google 发布 PaLM 2:不再卷参数量,驱动新版 Bard 并能跑在手机上
图:techcrunch.com

过去大半年,大家看大模型都在比谁的参数多,仿佛数字越大就越厉害。但 Google 这次拿出 PaLM 2 时,态度明显变了。

在 Google I/O 开发者大会上,Google 正式发布了新一代大语言模型 PaLM 2。它不仅会接管升级后的聊天机器人 Bard,还会成为 Google 接下来一系列 AI 新功能的底层底座。开发者现在已经能通过 PaLM API、Firebase 以及 Colab 用上它。

摆脱参数崇拜,搞出全家桶

有意思的是,Google 这次学聪明了,和 OpenAI 一样对具体参数量三缄其口。要知道上一代 PaLM 可是直接把 5400 亿参数顶在头上的。

DeepMind 副总裁 Zoubin Ghahramani 解释得很直白:模型并不是越大越好,死磕参数量已经没什么意义了,好不好用得看实际跑任务的表现。所以 Google 这次直接把 PaLM 2 做成了一个不同尺寸的模型家族。

硬件底座上,Google 透露 PaLM 2 是基于自家最新的 JAX 框架和 TPU v4 集群训练出来的,算力利用效率比之前更高。

能算数学题,还能塞进手机里

在具体能力上,Google 重点补齐了大模型的几个传统短板。

以前的大模型聊起天来头头是道,一碰到算术题就原形毕露,往往得外挂插件才能算对。PaLM 2 在训练中塞进了大量数学和科学文献,官方表示它不仅能解数学谜题、一步步推导,甚至还能输出图表。

在代码方面,它学了 20 种编程语言,除了常见的 JavaScript 和 Python,连古老的 Fortran、Prolog 和硬件设计用的 Verilog 也包含在内。Google 还顺势推出了基于它微调的代码专用模型 Codey,用来做代码补全和生成。

更让人在意的是模型的轻量化尝试。除了面向医疗的 Med-PaLM 2 和网络安全的 Sec-PaLM,Google 还做了一个可以在智能手机上本地跑的 PaLM 2 小模型。

这个手机端小模型每秒能生成大约 20 个 token。虽然速度谈不上飞快,但 Google 没透露是用什么手机测的,也没给出具体的上线时间表。不过对于注重隐私的离线场景来说,这已经是个很能打的成绩了。

为什么重要

我们认为,Google 这次发布 PaLM 2,最核心的变化是终于放下了「唯大模型论」的执念,开始转向实用主义。

对开发者和企业来说,大模型动辄几千亿参数,跑一次成本极高,根本没法普惠。Google 把模型拆成不同规格,还针对代码、医疗、安全做垂直切分,甚至探索手机端本地运行,说明商业落地的思路非常明确。如果你正在做特定行业的垂直应用,比如医疗咨询或代码助手,这种分层模型的适配成本会比死磕一个通用巨无霸要低得多。

对行业竞争而言,这是 Google 对 OpenAI 展开的最全面反击。此前 Bard 体验饱受诟病,换上 PaLM 2 后算是有了一战之力。更关键的是,Google 把自身强大的底层算力 TPU 和应用生态绑在一起,试图在硬件成本上跟英伟达阵营拉开差距。

不过,隐患也同样明显。Google 在发布前没有提供公开评测环境,实际生成中的幻觉问题、边界案例处理到底怎么样,现在完全要打个问号。端侧模型 20 token 每秒的表现虽然可用,但何时能真正下放到普通用户的移动设备上,看起来 Google 还有很长的一段工程优化路要走。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

话题追踪ChatGPT 对 Google 搜索的威胁

这个话题的历次新闻,最新的在上面。

  1. Google 搜索生成式体验扩展至 120 多个国家,新增支持韩语等 4 种语言
  2. Google 升级 SGE 搜索:直接文生图,还能顺手写邮件草稿
  3. Google 开放 AI 搜索给青少年:加设安全护栏与来源说明
  4. Google 搜索生成式体验出海:SGE 落地印度和日本,支持当地语言
  5. Google 升级生成式搜索 SGE:能帮你读长网页,还加了代码高亮

每日 AI 内容精选