跳到正文
IFAI

AI科研

Anthropic 发布 Clio:在保护隐私的前提下看清用户怎么用 Claude

首次发布 传播指数 35

Anthropic 公布隐私保护分析系统 Clio(现称 Anthropic Insights)。它让 Claude 自行提炼并聚类数百万条真实对话,人工分析师只能看到脱敏后的宏观主题,以此摸清真实用法并排查批量滥用。最值得关注的是,这让平台在不窥探用户隐私的前提下,也能捕捉新型安全隐患。

Anthropic 发布 Clio:在保护隐私的前提下看清用户怎么用 Claude
图:anthropic.com

大家天天对着 AI 聊天框,到底都在问些什么?大模型厂商其实也很头疼:想知道用户怎么用,又不能直接翻看用户的聊天记录。

Anthropic 公布了他们自研的内部自动化分析工具 Clio(现已更名为 Anthropic Insights),并放出了对 claude.ai 上 100 万条真实对话的分析样本。

让 Claude 替人类把关隐私

传统的安全审查往往是居高临下的,必须先设想好坏人会干什么,再去抓特征。Clio 则换了种思路,从海量对话里自下而上聚类,像 Google Trends 一样摸清趋势。

但为了不泄露隐私,Anthropic 没让人类审查员直接看对话,而是全流程交给 Claude 自动处理。

Claude 会先从对话中提取主题、语言和轮次等特征,把意思相近的归拢到一起,再给每个类别写出概括性摘要,同时剔除任何可能指向具体人的细节。

为了防止罕见话题暴露个人身份,Clio 设了用户数量门槛,对话太少的小众话题根本不会成团展示给人类分析师。

从 100 万条对话样本来看,写代码是 Claude 最核心的场景。Web 和移动应用开发占了所有对话的 10% 以上,从调试代码到解释 Git 操作都有。

教育和学习类占了超过 7%,商业策略与日常运营占了近 6%。剩下的五花八门,有人拿它解梦、分析足球比赛、设计防灾预案,还有人拿它玩跑团,或者一遍遍数 strawberry 里到底有几个 r。

抓黑产和纠正误伤

Clio 对 Anthropic 来说,更重要的角色其实是安全巡查雷达。

单看一条对话可能完全合法,但聚成一团就能看出问题。9 月下旬,Anthropic 借 Clio 揪出了一个自动化账号网络,对方用类似的提示词批量生产 SEO 垃圾内容,单独看都没违规,合在一起就露馅了。

它还能排查误伤。求职者让 Claude 润色简历,之前常因为包含个人信息被传统安全分类器报错;程序员问安全渗透和爬虫代码,很容易被当成黑客攻击;就连跑团玩家讨论战斗数值,也曾触发过伤害判定。Clio 把这些错判逐一挑了出来。

为什么重要

很多用户把工作甚至隐私交托给大模型时,最大的顾虑就是自己的对话会被人类后台偷看。Anthropic 这套做法聪明在用模型管模型,既不看隐私,又拿到了统计大盘。

对普通开发者和职场人来说,这也是个风向标。官方公布的数据直接证明了写代码和商业分析是 Claude 最稳固的基本盘,如果你还在拿它单纯当成问答搜索器,其实可以试着把调试脚本和业务数据分析等重活丢给它。

对行业而言,AI 滥用的形态已经从单点违规转向协同作战,比如自动化 SEO 垃圾矩阵或黑产倒卖账号。传统靠单条提示词过滤规则的安全手段正在失效,自下而上的语义聚类分析很可能会成为各大厂商的标配。

不过在我们看来,这种机制也暗藏博弈。如果黑产故意把攻击样本分散成极其小众、达不到聚合阈值的微小流量,AI 聚类工具很可能会出现盲区。怎样在隐蔽的长尾流量里维持防线,依然是个待解的难题。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选