跳到正文
IFAI

行业动态

Anthropic 请哲学家教 Claude 做人:主导 3 万字 AI 宪法,打磨百页 Prompt

首次发布 传播指数 47

据《华尔街日报》报道,哲学家 Amanda Askell 正主导 Anthropic 的性格对齐团队,教 Claude「如何做个好 AI」。她是「宪法 AI」的核心设计者,参与撰写了 3 万字的最新行为准则,通过长达百页的提示词引导模型进行道德自省与自我修正。

教一个几千亿参数的大家伙学做人,靠的可能不是写代码,而是写一部道德法典。

在估值三千五百亿美元的 Anthropic 内部,负责教 Claude 变好的是一位苏格兰哲学家 Amanda Askell。华尔街日报最近揭秘了她的工作,简单说就四个字:教它向善。

Askell 的学术背景很有意思,她本科在邓迪大学读哲学与艺术,后来拿到牛津哲学学士和纽约大学哲学博士。她的博士论文研究的是一个极其抽象的课题:如果宇宙里有无限多的人,伦理学难题该怎么解。没想到几年之后,她真的面对了一个每天要和无数人对话的复杂系统。

让 AI 照着 3 万字宪法自省

Askell 早在 2018 年到 2021 年期间就在 OpenAI 工作,负责 AI 安全和政策,还是 GPT-3 论文的作者之一。但因为觉得公司对安全的重视程度不够,她选择离开并在 2021 年加入 Anthropic。

在这里,她是宪法式 AI 的核心架构师。过去给大模型立规矩,主要靠海量人工做内容标注和筛选。而 Askell 主导的方法,是给模型一套白纸黑字的成文规则,也就是宪法。

2026 年 1 月,Anthropic 发布了最新版长达三万字的宪法,大部分正是由她撰写。通过强化学习和合成数据,Claude 可以对照这些准则,自我检查并修改回复,努力做到有帮助、诚实和无害。

像父母一样写上百页提示词

在日常工作中,Askell 把自己的角色比作父母。她会仔细研究 Claude 的推理过程,写出长达上百页的提示词来引导它的性格,培养它的好奇心、同理心以及道德自省能力。

早在 2023 年,她就和同事 Deep Ganguli 共同发表过一篇论文,探讨大模型能否进行道德自我纠错。研究表明,在强化学习训练下,只要给模型清晰的自然语言指令,它就能有效减少偏见和有害输出。

现实中她也是个坚定的伦理实践者。作为有效利他主义组织 Giving What We Can 的成员,她承诺将自己终身收入的至少百分之十、甚至超过一半捐给扶贫慈善机构,并在 2024 年入选了时代百大 AI 影响力人物。

为什么重要

对普通用户来说,你用 Claude 时感受到的那种客气、不居高临下也不轻易说教的说话风格,并不是偶然形成的,而是 Askell 和她的团队刻意调教出来的结果。现在很多大模型动不动就机械拒绝回答,或者摆出一副说教嘴脸,Claude 能够讲清道理并保持温度,这正是它在日常写作和复杂任务中更让人愿意使用的关键原因。

对整个行业而言,这代表了 AI 对齐从人工黑盒标注转向规则透明化的重要尝试。以前靠廉价外包团队逐条打标签,既耗费人力,又容易把标注员的个人偏见带进模型。Anthropic 尝试用公开的成文法典加上模型自我反思,走出了一条完全不同的技术路径,这也在倒逼其他大模型公司拿出更成体系的对齐方案。

但我们认为,这种做法依然存在明显的局限。把三万字的哲学文本作为模型的最高行为准则,本质上还是把少数精英哲学家的价值观固化成了机器的标准答案。当全球不同文化、宗教和法律体系产生激烈冲突时,单靠一套西方式的宪法能否支撑起全球通用 AI 的道德底线,看起来依然是个巨大的未知数。

来源 (2)

  1. [1]
    wsj.com(在新标签页打开)原文wsj.com
  2. [2]

每日 AI 内容精选