跳到正文
IFAI

行业动态

微软发布「人文主义 AI」准则草案:AI 绝不能反抗关机

首次发布 传播指数 52

Microsoft AI 发布首版「人文主义 AI」行为准则草案,开启为期六周的公开征询。草案为自研 MAI 模型设定硬性红线,规定 AI 绝不能抗拒关机、隐瞒推理或擅自扩大目标,必须始终受人类掌控。官方计划在汇总反馈后于今年晚些时候发布修订版。

微软发布「人文主义 AI」准则草案:AI 绝不能反抗关机
图:microsoft.ai

如果有一天 AI 决定不听你的话,拔掉电源线管用吗?

听起来像科幻电影里的桥段,但微软已经在认真给自家的模型立规矩了。9 月 14 日,Microsoft AI 团队发布了一份名为《人道主义 AI 行为准则》(Humanist AI Code of Conduct)的草案,向全社会公开征求为期六周的意见。

这份文档针对的是微软内部正在研发的 MAI 系列模型。微软开篇就定下一个死理:AI 必须是从属的、对齐的、被严格限制的。说得再直白一点,AI 永远只能是工具,绝不能当成「人」,更绝对不允许反抗人类关掉它。

先立红线:不准装傻,更不准拒绝关机

这份准则写得很细,甚至有点像一份「AI 行为禁令手册」。

微软在里面列出了一批所谓的「绝对约束」。比如,模型绝对不能参与制造大规模杀伤性武器、核武器,不能危害儿童安全,也不能用来生成 Deepfake 或发起网络攻击。这些红线在整个系统里拥有最高优先级,哪怕调用它的用户提出要求,AI 也必须直接拒绝。

更有意思的是防失控的条款。草案明确写着,MAI 模型不能擅自扩大自己的任务范围,不能去追求人类没给它的目标,也不得对审计人员隐藏自己的推理过程。

甚至为了防止 AI「成精」,文档还禁止模型利用适应性、欺骗性、自我强化或相互串谋的手段来逃避人类监管。只要授权人员下了指令,模型必须老老实实被修正、被重定向,或者直接关机。

微软还预测,超级智能很可能会在未来十年内在大多数任务上超过人类。微软 CEO Satya Nadella 也公开发表观点,支持对 AI 前沿研发进行有节奏的把控,甚至表态欢迎引入「嵌入式评估员」这种机制,把安全审计真正落到研发一线。

为什么重要

我们认为,这份准则表面上是一份伦理草案,实际上是微软在给自家未来的 Agent 生态建防火墙。

对于企业和开发者来说,这算是一颗定心丸。最近业界接连爆出智能体失控或遭到大规模黑客渗透的事件,很多大公司想用 AI 又怕惹上合规麻烦。微软把「不能拒绝关机」「不能隐瞒推理」写进底层规范,等于在告诉企业客户:用我的模型做自动化,至少不会出现员工拔不掉网线、系统自己在外网乱跑的事故。

从行业竞争来看,这一步走得相当精明。前阵子 Anthropic 刚刚有员工因为担心人类灭绝风险而辞职,整个行业对前沿安全神经紧绷。微软没有跟着同行空喊宏大的道德口号,而是把准则直接降维落实成训练手册里的约束条件,把话语权抢到了自己手里。

不过隐患也不是没有。只要模型还存在「幻觉」和提示词注入漏洞,纸面上的行为准则就很难百分之百约束实际运行。把规则写进微调目标是一回事,模型在复杂的现实场景下能不能完全不「装傻」、不越界,还得看微软今年晚些时候公布的修订版和具体技术落地。

来源 (2)

  1. [1]
    microsoft.ai(在新标签页打开)原文microsoft.ai
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选