跳到正文
IFAI

行业动态

OpenAI 认同放慢前沿研发:奥特曼承诺引入外部独立评估员

首次发布 传播指数 44

OpenAI CEO Sam Altman 公开赞同 Anthropic CEO Dario Amodei 放缓前沿 AI 研发步伐的提议。Altman 称这已是近期内部的核心讨论议题,并承诺将为独立外部评估员提供员工级的系统访问权限。两大领头羊罕见在安全刹车机制上达成一致。

OpenAI 认同放慢前沿研发:奥特曼承诺引入外部独立评估员
图:scalevise.com

OpenAI 和 Anthropic 这对老对手,罕见地在「踩刹车」这件事上达成了一致。

OpenAI 首席执行官 Sam Altman 公开表态,赞同 Anthropic 首席执行官 Dario Amodei 关于前沿 AI 开发需要把控节奏的呼吁。Altman 透露,如何把控前沿技术的研发速度,是 OpenAI 最近几周内部讨论的核心议题。

让外部评估员拿「员工工牌」

此前,Amodei 发文呼吁整个 AI 行业放慢脚步,并单方面承诺为第三方独立评估机构提供永久的、等同于员工级别的系统访问权限。这些评估员可以借此核验安全规范的执行情况、通报突发事件,并直接检查模型在训练期间的对齐状态。

Altman 评价这个主意非常棒,并明确表示 OpenAI 也会跟进同样的操作。关于具体的落实细节,OpenAI 很快会对外公布。

为什么重要

过去两年里,前沿大模型竞赛一直处在争先恐后发布、谁也不敢落后的紧张状态。两家领跑者公开承认需要放慢节奏,甚至愿意把系统大门向外部审计人员敞开,这在行业里还是头一次。

我们认为,允许独立评估员在模型训练期就拿到员工级权限,比以往产品上线后再做黑盒红队测试要深入得多,这是在安全监督上走得挺聪明的一步。但看起来,这种自律倡议能产生多大约束力,关键还在于具体细节:谁来担任评估员、他们是否有权叫停发布,以及当竞争对手加速时,这份默契还能维持多久。

来源 (1)

  1. [1]
    x.com(在新标签页打开)原文x.com

每日 AI 内容精选