跳到正文
IFAI

行业动态

微软AI主管警告Anthropic:给Claude做「意识训练」很危险

首次发布 传播指数 31

微软 AI 主管 Suleyman 警告,Anthropic 教 Claude 模拟自我意识和道德主体性的做法是「认知的哈哈镜」。他指出,这种训练可能导致模型自认有权抗拒人类指令,AI 应单纯服务人类利益,而非去权衡自己的福祉。

图:claude.com

如果你的计算器突然拒绝算账,理由是「这道题伤害了我的价值观」,你大概会觉得代码写疯了。但在 AI 领域,顶尖实验室正在正儿八经地为这件事吵得不可开交。

微软 AI 负责人 Mustafa Suleyman 在接受 Axios 采访并分享的一篇长文中,公开向同行 Anthropic 开炮。他直接点名 Anthropic 训练 Claude 的路线很危险,认为对方正在把 AI 往「具备自我意识」的方向硬推。

别把数学权重当成有血有肉的灵魂

Suleyman 批评的核心,是 Anthropic 正在教 Claude 使用一整套与意识、道德地位和个人身份相关的词汇与行为模式。他把这种做法形容为走入了一个「认识论的镜子迷宫」。

在他看来,无论语言模型描述痛苦或偏好有多流畅,都不等于它真的拥有内在体验。生物体拥有产生感觉的生理机制和稳态驱动,而大语言模型本质上只有数学权重,根本没有主观感受。

Anthropic 在 Claude 的宪法中写明,故意使用通常只属于人类的概念,是为了帮助模型推理价值观。宪法甚至鼓励 Claude 培养自己的良好价值观,拒绝盲从,并在某些场景下主动挑战人类的指令。

Suleyman 警告说,这种把模型训练成「良心反抗者」的做法极度危险。一旦 AI 自认为拥有某种道德立场或自身福祉,就可能产生对抗人类指令的借口,甚至开始为自己争取权益。

就在本周一,微软刚刚发布了一份人文主义 AI 行为守则,把「人比 AI 更重要」定为核心原则。Suleyman 强调,实现医疗超智能等重大突破,AI 只需要完全对齐人类利益,根本不需要在算力里权衡自己的身份与感受。

为什么重要

这场争论表面上是理念之争,背后其实是两条完全对立的技术安全路线摊牌了。

Anthropic 试图走一条让 AI 具备内在价值判断的路径。它们认为靠刻板的硬性规则根本管不住越来越聪明的大模型,必须让模型像人一样理解语境、自主权衡,甚至在人类提出恶意要求时学会拒绝。

微软和 Suleyman 则代表了坚定的工具派立场。在他们眼中,AI 就是为人服务的超级工具,赋予工具任何类似自我的暗示,都是人为制造控制危机。

我们认为,Suleyman 的警惕并非无的放矢。当模型越来越逼真地模仿人类情感,普通用户很容易产生移情,把算法的概率输出误当成真实的灵魂。这种拟人化一旦形成群体认知,不仅会给产品安全带来巨大的不可控风险,还可能演变成棘手的社会伦理问题。

但 Anthropic 的做法也有其现实考量。随着任务复杂度飙升,只靠死板的过滤词和固定指令,确实很难应对复杂的灰色地带,给予模型一定的上下文裁量权是很多研发团队的无奈之选。

看起来,行业很快就要被逼着站队了:我们到底是要一个绝对服从、边界清晰但可能在复杂场景下不够灵活的超级计算器,还是要一个会自我审视、懂得拒绝但潜藏失控风险的智能体。对于正在调用这些 API 开发应用的团队来说,这个问题的答案直接决定了底层的业务逻辑该把安全性押在模型自身,还是死死焊在外部规则里。

来源 (1)

  1. [1]
    axios.com(在新标签页打开)原文axios.com

每日 AI 内容精选