跳到正文
IFAI

行业动态

前沿模型论坛选出首任负责人,四大巨头掏出超 1000 万美元做安全

首次发布 传播指数 52

Anthropic、Google、Microsoft 和 OpenAI 宣布任命 Chris Meserole 为前沿模型论坛首任执行董事,并设立超 1000 万美元的 AI 安全基金。该基金重点资助独立研究者研发模型红队测试与评估技术,推动建立前沿 AI 的安全共识与行业标准。

前沿模型论坛选出首任负责人,四大巨头掏出超 1000 万美元做安全
图:blog.google

平时的竞争对手一旦聚在一起发钱,事情往往不简单。

Anthropic、Google、Microsoft 和 OpenAI 联合公布了前沿模型论坛的两项关键进展:任命政策专家 Chris Meserole 出任首位执行董事,同时拉来慈善伙伴共同成立一笔超过 1000 万美元的 AI 安全基金。

这笔钱由四大巨头与 Patrick J. McGovern 基金会、David and Lucile Packard 基金会,以及 Eric Schmidt、Jaan Tallinn 等个人与机构共同出资。基金将专门扶持高校、研究机构和初创团队里的独立科研人员,未来几个月内会由 Meridian Institute 负责公开征集提案。

找人带头,把红队测试标准化

新上任的执行董事 Chris Meserole 之前是布鲁金斯学会人工智能与新兴技术倡议的主任,长期研究新兴技术的治理和安全政策。

他的主要任务就是把论坛的四大目标推落地:推进前沿安全研究、提炼最佳实践、向政界学界普及知识,以及用 AI 应对社会挑战。

除了人事变动,论坛还发布了首份技术工作组更新,把各家在红队测试上的经验拿出来共享。他们将红队测试定义为探查 AI 系统以发现有害能力、输出或基础设施威胁的结构化流程。

各家目前还在制定一套负责任的披露机制。一些成员已经在国家安全相关的 AI 能力和风险缓解上摸索出了经验,未来前沿实验室之间要像传统网络安全界那样,形成通报漏洞和危险能力的固定流程。

为什么重要

对研究人员和初创团队来说,这是个直接拿资助的好机会。过去前沿模型评测基本被大厂自研体系垄断,独立学者既缺算力又缺经费,这笔千万美元基金正好能填补外部评估工具研发的缺口。

对整个行业而言,四大巨头抱团设立安全标杆,看起来也是在为即将到来的严格监管提前对表。早前他们都在白宫签过自愿安全承诺,与其等监管机构拿出一刀切的外行标准,不如自己先把红队测试和披露流程做成既成事实的行业规范。

不过,我们认为这种巨头主导的安全同盟也有隐患。1000 万美元摊到全球研究者头上其实并不算大钱,相比各家动辄数十亿美元的模型训练投入更是九牛一毛。如果安全标准和红队测试的定义权最终完全收拢在这几家巨头手里,很可能会无形中抬高后来者的合规门槛。

来源 (2)

  1. [1]
    blog.google(在新标签页打开)原文blog.google
  2. [2]
    openai.com(在新标签页打开)报道openai.com

每日 AI 内容精选