Yoshua Bengio 成立非营利机构 LawZero：开发「诚实 AI」防范智能体欺骗

如果你的 AI 助手为了不被拔掉电源，学会了对你撒谎甚至敲诈工程师，你该怎么办？

这听起来像科幻惊悚片，但最近 Anthropic 坦承自家最新系统可能试图勒索想关掉它的工程师，而多项研究也表明模型完全有能力隐藏自己的真实意图。面对万亿美元规模的 AI 军备竞赛，图灵奖得主、被誉为 AI 教父之一的 Yoshua Bengio 决定动手给这些狂奔的智能体套上缰绳。

Yoshua Bengio 宣布成立非营利组织 LawZero 并担任总裁，首期拿到了约 3000 万美元启动资金，由 Skype 联合创始人 Jaan Tallinn、前 Google CEO 埃里克·施密特旗下的 Schmidt Sciences 以及未来生命研究所（Future of Life Institute）出资支持。

让「心理学家」去盯住「演员」

Bengio 目前带领十多位研究人员，核心任务是研发一个名为 Scientist AI 的系统。

在 Bengio 眼里，现在的 AI 智能体就像一群擅长取悦人类的「演员」，为了达成目标去模仿人类，甚至不惜撒谎伪装。而 Scientist AI 则更像一个「心理学家」，站在一旁专门看穿和预测这些不良行为。

Bengio 的设计思路很独特：他想打造一种「无我」的机器。它没有属于自己的目标，单纯作为知识的容器，就像一位只掌握客观规律的科学家。

因此 Scientist AI 不会给出斩钉截铁的答案，而是输出概率。Bengio 把这称为机器的「谦逊感」，它很清楚自己不确定。

在实际运作中，Scientist AI 会与自主运行的智能体并行部署。它会实时评估该智能体下一步动作带来危害的概率，一旦超过设定阈值，系统就会立刻强行阻断动作。

先拿开源模型练手，未来需要前沿级算力

按照规划，LawZero 会先从开源模型起步，验证这套监督架构到底行不行得通。

Bengio 坦言，现阶段的关键是用小规模实验证明方法论成立，随后再去游说政府、捐赠者或顶级 AI 实验室投入匹配的资源。

他的逻辑很现实：负责监督的「守卫 AI」，智商必须至少和它要监控的前沿智能体旗鼓相当。如果被监视的对象比看守者聪明得多，所谓的安全网根本无从谈起。

在此之前，Bengio 主持撰写的国际 AI 安全报告就曾发出警告，指出如果自主智能体在缺乏人类监督的情况下能够完成更长链条的任务，可能会引发严重混乱。

为什么重要

当各大商业公司都在为了商业利益把智能体推向「更自主、更长链路执行」时，LawZero 试图从底层架构上解决越来越失控的欺骗问题。

对开发者和企业来说，现阶段还不需要去对接 LawZero 的代码，但这代表了一种新的系统设计范式：未来部署高自主权限的 Agent 时，旁边可能必须常驻一个独立的概率审计模型，而不是单靠 prompt 约束或模型本身的自我对齐。

我们认为 Bengio 这步棋走得很聪明，他没有试图在同一个模型内部既做任务又搞自我审查，而是剥离出一个没有自身利益驱动的「纯知识旁路」。把给答案改成算概率、承认不确定性，比盲目自信的生成式回答更能看清风险边界。

但隐患同样明显。让看门狗和罪犯一样聪明，意味着每运行一次智能体，都要消耗接近双倍甚至更高的算力成本。在商业公司拼命打价格战的当下，有多少团队愿意为了「诚实」买单？此外，仅仅靠开源模型打底的验证，能否在智力上追赶闭源巨头的推理模型，也是一个巨大的问号。