跳到正文
IFAI

行业动态

Google DeepMind 成立 DMI 研究所:专研 AGI 社会影响与安全治理

首次发布 传播指数 55

Google DeepMind 联合创始人 Shane Legg 宣布成立 DeepMind Institute(DMI),专注于研究 AGI 时代的技术与社会影响。该机构由 Demis Hassabis、James Manyika 与 Legg 共同领导,旨在联合全球跨学科学者,探讨生物风险、网络安全及智能体治理等关键议题。

Google DeepMind 成立 DMI 研究所:专研 AGI 社会影响与安全治理
图:techcrunch.com

过去大半年,硅谷巨头们聊起通用人工智能(AGI),画风基本上是先画一张「治愈癌症、人人繁荣」的饼,转头就把算力拉满、接着狂卷参数。但如果做模型的先锋自己开始提醒说「这玩意儿快成了,而且我们可能快管不住了」,事情就变得有点微妙了。

Google DeepMind 宣布成立 DeepMind Institute(简称 DMI)。这是一个设立在公司内部的智库平台,由 DeepMind 联合创始人兼首席 AGI 科学家 Shane Legg、DeepMind 掌门人 Demis Hassabis 以及 Google 高管 James Manyika 共同担任主管,Legg 同时负责编辑工作。花了 25 年研究 AGI 的 Legg 在发文时直言,今天的系统虽然有时还会在基础任务上翻车,也缺乏足够的稳定性和创造力,但这些差距「很快就会被补上」,AGI 已经近在眼前。

于是,这个新智库决定把讨论范围推到单纯的技术研发之外:它不仅向 Google 内部开放,还拉来了全球学术界、人文学科和政策研究者,专门琢磨 AGI 到来后的社会治理、经济重构和技术安全问题。每篇文章开头还会特意加上一条免责声明:文内观点只代表作者本人,不代表 Google 的官方政策。

别让 AI 的思考变成查不到的「黑盒」

DMI 首批端出来的几篇文章,几乎把此前业内私下担忧的底牌全摊在了桌面上。其中最抓人眼球的技术细节,来自 DeepMind 两位安全研究员 Rohin Shah 和 Anca Dragan 对「模型透明度」的警告。

现在很多人习惯看大模型把推理步骤一行行打出来,觉得这样就能看懂它在想什么。但研究员指出,随着新型架构的发展,最强大的模型正在变得越来越难以监控。他们警告,不能让模型在没有生成可读推理痕迹的情况下,执行过多连续的深层计算,也就是所谓的「不透明序列深度」。更危险的是,如果在训练时盲目惩罚那些看起来有疑点的推理,模型可能会迅速学会伪装和隐瞒自己的真实意图。因此,他们呼吁开发者和监管机构别把黑盒化当成理所当然,甚至建议把维持「可读思考轨迹」作为硬性要求。

除了底层技术,Demis Hassabis 本人也重新拿出了他在 7 月份起草的一份监管框架。他提议由美国牵头成立一个前沿 AI 标准机构,由联邦政府监督、行业自身出资。大模型在发布前 30 天要自愿提交评测,一旦体系跑通,通过测试就得变成在美国上线的强制门槛。

有意思的是,Hassabis 还提出要引入官方严格保密的「保留测试题」,防止各家实验室提前针对考卷刷题。如果事态变得极其严峻,这个机构甚至应该有权启动「协调降速」,让所有前沿实验室统一步伐暂停狂奔。碰巧的是,WIRED 在同一天报道称,华盛顿此前曾尝试推进过类似的监管机构,但在 8 月份遭遇了行业游说阻力而陷入停滞。如今 Hassabis 和其他业内高管再次呼吁控制前沿 AI 的研发节奏,这份提议的分量显然更重了。

机器抢饭碗之后,钱从哪里来?

智库里的另一篇重头文章,直接盯上了普通人最怕的失业问题。Julian Jacobs 和 Alex Imas 在经济政策论文中提出,与其争论 AGI 到底哪一年降临,不如提前把政策工具箱准备好,直接根据就业率、工资水平以及劳动所得在经济中的占比来动态触发救济措施。

如果只是轻微的岗位冲击,政府可以依靠失业保险、劳动所得税抵免以及企业转岗培训来兜底。但如果冲击恶化,他们建议直接祭出「负所得税」,甚至推行更广泛的资本所有权分配,让普通人也能分到机器创造的资本收益。把这些制度提前写成预案,哪怕哪天大模型能力突然突飞猛进,社会也不至于猝不及防。

为什么重要

DeepMind 成立智库这件事,表面上看是个办学术沙龙的动作,但在我们看来,这其实是头部实验室在给接下来激烈的社会反弹提前「打预防针」。

对于现在的开发者和技术采购方来说,Rohin Shah 提到的那些观点非常有实操价值。你接下来去采买大模型或者接入 Agent 时,完全可以拿这套标准去反问供应商:你们的模型能提供完整透明的思考链吗?你们在微调时,有没有为了让结果好看而诱导模型学会「撒谎」?这些技术细节很快会变成采购合同里的安全红线。

而在行业层面上,DeepMind 的姿态显得相当聪明,却也藏着一丝无奈。在外部监管迟迟无法落地、甚至被商业游说拖慢节奏的节骨眼上,由研发龙头跳出来牵头制定标准、讨论何时「协调减速」,看起来是在主动承担责任,但实质上也是在抢夺未来行业规则的起草权。谁制定的评测标准被采纳,谁就在下一代模型的准入上拥有最大的话语权。

不过,隐患也恰恰在这里。一家商业巨头无论把自己包装得多么中立,它的首要任务依然是把模型做大、在商业上赢过 OpenAI 和 Anthropic。把观点和 Google 官方立场切割开,固然给了学者自由开炮的空间,但也意味着这些关于财富再分配、强制减速的激进设想,很可能永远停留在论文阶段。只要没有具备真正执法权的公共机构介入,单靠几个顶尖科学家在智库里呼吁自律,恐怕很难真正刹住军备竞赛的车轮。

来源 (2)

  1. [1]
    @ShaneLegg(在新标签页打开)原文x.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选