跳到正文
IFAI

行业动态

Google DeepMind 组建 AI 安全与对齐新组织,紧盯 Gemini 防护与 AGI 风险

首次发布 传播指数 36

Google DeepMind 宣布成立「AI 安全与对齐」新组织,整合既有安全团队并扩招专家,由 UC 伯克利教授 Anca Dragan 牵头。新部门既要给当前 Gemini 模型筑牢防线(防范不良医疗建议与偏见放大),也会设立专职团队攻坚 AGI 安全,对标 OpenAI 超级对齐。

Google DeepMind 组建 AI 安全与对齐新组织,紧盯 Gemini 防护与 AGI 风险
图:techcrunch.com

如果你给 Google 现在的旗舰模型 Gemini 一个合适的提示词,让它编一段关于美国总统大选的假新闻,它真就照写不误。要是问它泰坦号潜水艇内爆的细节,它甚至能编出一套看起来煞有介事但完全是胡扯的虚假引用。

这让 Google 在监管机构和公众面前相当被动。2 月 21 日,负责研发 Gemini 的 Google DeepMind 正式成立了一个新组织,名叫「AI 安全与对齐」(AI Safety and Alignment)。这个部门由现有的安全团队扩编而成,吸纳了新一批生成式 AI 研究员和工程师,专门拆解 AI 失控的难题。

一边管眼前的麻烦,一边盯未来的 AGI

新组织里最引人注目的,是一个专门针对通用人工智能(AGI)的安全团队。这跟 OpenAI 去年 7 月组建的超级对齐(Superalignment)团队在使命上几乎一模一样。

有意思的是,DeepMind 原本在伦敦就有一个叫 Scalable Alignment 的团队在做类似的事。不过新成立的这个团队设在美国本土,紧挨着 Google 总部。至于具体要招多少人,Google 官方并没有透露。

新部门由 UC Berkeley 计算机科学教授、前 Waymo 科学家 Anca Dragan 牵头。她计划一边在学校带实验室,一边在 DeepMind 抓安全工作。她认为眼前的现实风险和长远的灾难性风险在技术层面上是相通的,比如让模型知道自己不知道什么、在推理过程中加入实时监控,以及在关键决策前弹出确认。

近期的具体工作主要集中在 Gemini 身上:防止给出危险的医疗建议、确保儿童安全,以及阻止偏见扩大。长远一点的课题,则包括防止 AI 被用来协助恐怖主义或破坏社会稳定。

幻觉成了全行业的通病

Google 急着立规矩,很大程度上是因为外部信任正在下滑。YouGov 的一项调查显示,85% 的美国人对深度伪造的视频和音频感到担忧;而美联社与 NORC 的调查发现,近 60% 的成年人认为 AI 工具会增加今年大选期间的虚假信息。

企业端同样疑虑重重。Intel 旗下的 Cnvrg.io 调查显示,大约四分之一正在测试生成式 AI 的企业对合规、隐私和可靠性心存顾虑;Riskonnect 的调查也提到,超过半数的高管担心员工会根据 AI 提供的错误数据做出决策。《华尔街日报》上周也爆料,微软的 Copilot 同样经常在会议总结和表格公式中出现低级错误。

对于这些硬伤,Dragan 坦言自己不可能承诺做出一个毫无缺陷的模型,但接下来会拿出一套评估生成式 AI 安全风险的测试框架。

为什么重要

对于普通用户和企业客户来说,这笔安全投资短期内最直观的效果,可能是你会发现 Gemini 越来越保守。如果你期待它能毫无保留地帮你处理复杂财务表格或专业建议,短期内依然要打个问号,因为只要模型还在产生幻觉,人工复核的成本就免不了。

我们认为,Google 这次在西海岸另起炉灶搞安全团队,算盘打得挺精明。DeepMind 传统的安全核心一直在伦敦,但现在 Google 面临的政治风暴和商业竞争全部集中在美国本土。把新的安全团队直接插在总部眼皮底下,既是对华盛顿监管机构展现求生欲,也是为了能跟一线工程团队随时对齐。

但这里面的隐患也很明显。负责人一边要在伯克利管实验室,一边要在工业界挑大梁;而且两地并行的安全架构很容易变成内部的资源拉扯。更关键的是,全行业现在都在拿安全当公关盾牌,如果 Gemini 接下来依然在大选和敏感问题上信口开河,成立再多新组织也救不了外界的信任危机。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选