OpenAI 董事会迎来新成员:AI 安全学者 Zico Kolter 加盟
OpenAI 宣布任命卡耐基梅隆大学机器学习系主任 Zico Kolter 进入董事会,并加入安全与安保委员会。Kolter 长期专注模型鲁棒性与对齐研究。面对外界对安全性的审视,OpenAI 显然希望拉来懂技术的学术专家强化自身治理。

过去一年里,OpenAI 的董事会几乎把各路背景的人请了个遍,从政界元老到商业法律精英,唯独在真正的 AI 安全硬核技术上,大家总觉得少了一副懂行的眼睛。
现在这个人来了。8 月 8 日,OpenAI 宣布卡内基梅隆大学计算机科学教授、机器学习系主任 Zico Kolter 正式加入公司董事会,同时进入董事会下属的安全与安保委员会。
专找大模型漏洞的学者进了董事会
说起安全,很多人以为是定几条规范或者搞伦理审查,但 Zico Kolter 的研究路子非常硬核。
他在卡内基梅隆大学干了 12 年,早年从斯坦福拿到博士学位,又在麻省理工学院做过博士后,拿过 NeurIPS 和 ICML 等顶级会议的多篇获奖论文。
他最出名的一项研究是在 2023 年完成的。当时他的团队搞出了一套自动化攻击大语言模型的方法,证明了完全可以用自动优化算法,直接撕开主流大模型的安全防护栏。
除了教 AI 怎么抵御黑客式的对抗攻击,他还做过怎么在神经网络里嵌入硬性约束、确保模型鲁棒性的底层研究。换句话说,他不仅懂怎么给大模型做体检,更懂怎么把模型给打穿。
既搞学术又混工业界的技术派
Zico Kolter 并不是那种只待在象牙塔里的学者。
他之前担任过 C3.ai 的首席数据科学家,现在依然兼任博世的首席专家,还是 AI 安全初创公司 Gray Swan 的首席技术顾问。
进入 OpenAI 之后,他将和董事会主席 Bret Taylor、Adam D'Angelo、前美国国家安全局局长 Paul Nakasone、Nicole Seligman 以及首席执行官 Sam Altman 一起,坐在安全与安保委员会里,参与对所有项目的重大安全决策提出建议。
Bret Taylor 表示,Zico 带来了深厚的技术理解,有助于确保通用人工智能造福全人类。
为什么重要
我们认为,OpenAI 这次找来 Zico Kolter,是最近几轮董事会扩建里最切中要害的一步棋。
自从之前的高层震荡以及超级对齐团队核心人员出走之后,外界一直怀疑 OpenAI 的治理层到底还有没有能力、或者有没有意愿去监管技术风险。新进来的几位董事虽然背景显赫,但在前沿深度学习安全上缺少发言权,很容易变成纯粹的管理型角色。
引入一位真正在一线研究对抗攻击和模型鲁棒性的顶尖学者,至少能让安全委员会在开会时,有人能听懂工程师交上来的技术报告背后到底藏了什么风险。
对普通开发者和企业用户来说,这意味着 OpenAI 可能会把模型对抗性防御提上更高优先级。如果像 Zico 团队研究的那种自动化越狱攻击能够从架构底层被封堵,商用 API 的合规与防御成本会小很多。
但隐患依然存在。安全与安保委员会目前的职责仅限于提供建议,而董事会里已经坐着首席执行官 Sam Altman 本人。当模型发布的时间表与潜在的安全隐患发生冲突时,一位独立学者的话语权到底有多大,依然有待观察。
来源 (1)
- openai.com(在新标签页打开)原文openai.com