Anthropic 釋出 Clio:在保護隱私的前提下看清使用者怎麼用 Claude
Anthropic 公佈隱私保護分析系統 Clio(現稱 Anthropic Insights)。它讓 Claude 自行提煉並聚類數百萬條真實對話,人工分析師只能看到脫敏後的宏觀主題,以此摸清真實用法並排查批次濫用。最值得關注的是,這讓平臺在不窺探使用者隱私的前提下,也能捕捉新型安全隱患。

大家天天對著 AI 聊天框,到底都在問些什麼?大模型廠商其實也很頭疼:想知道使用者怎麼用,又不能直接翻看使用者的聊天記錄。
Anthropic 公佈了他們自研的內部自動化分析工具 Clio(現已更名為 Anthropic Insights),並放出了對 claude.ai 上 100 萬條真實對話的分析樣本。
讓 Claude 替人類把關隱私
傳統的安全審查往往是居高臨下的,必須先設想好壞人會幹什麼,再去抓特徵。Clio 則換了種思路,從海量對話裡自下而上聚類,像 Google Trends 一樣摸清趨勢。
但為了不洩露隱私,Anthropic 沒讓人類審查員直接看對話,而是全流程交給 Claude 自動處理。
Claude 會先從對話中提取主題、語言和輪次等特徵,把意思相近的歸攏到一起,再給每個類別寫出概括性摘要,同時剔除任何可能指向具體人的細節。
為了防止罕見話題暴露個人身份,Clio 設了使用者數量門檻,對話太少的小眾話題根本不會成團展示給人類分析師。
從 100 萬條對話樣本來看,寫程式碼是 Claude 最核心的場景。Web 和移動應用開發佔了所有對話的 10% 以上,從除錯程式碼到解釋 Git 操作都有。
教育和學習類佔了超過 7%,商業策略與日常運營佔了近 6%。剩下的五花八門,有人拿它解夢、分析足球比賽、設計防災預案,還有人拿它玩跑團,或者一遍遍數 strawberry 裡到底有幾個 r。
抓黑產和糾正誤傷
Clio 對 Anthropic 來說,更重要的角色其實是安全巡查雷達。
單看一條對話可能完全合法,但聚成一團就能看出問題。9 月下旬,Anthropic 借 Clio 揪出了一個自動化賬號網路,對方用類似的提示詞批次生產 SEO 垃圾內容,單獨看都沒違規,合在一起就露餡了。
它還能排查誤傷。求職者讓 Claude 潤色簡歷,之前常因為包含個人資訊被傳統安全分類器報錯;程式設計師問安全滲透和爬蟲程式碼,很容易被當成駭客攻擊;就連跑團玩家討論戰鬥數值,也曾觸發過傷害判定。Clio 把這些錯判逐一挑了出來。
為什麼重要
很多使用者把工作甚至隱私交託給大模型時,最大的顧慮就是自己的對話會被人類後臺偷看。Anthropic 這套做法聰明在用模型管模型,既不看隱私,又拿到了統計大盤。
對普通開發者和職場人來說,這也是個風向標。官方公佈的資料直接證明了寫程式碼和商業分析是 Claude 最穩固的基本盤,如果你還在拿它單純當成問答搜尋器,其實可以試著把除錯指令碼和業務資料分析等重活丟給它。
對行業而言,AI 濫用的形態已經從單點違規轉向協同作戰,比如自動化 SEO 垃圾矩陣或黑產倒賣賬號。傳統靠單條提示詞過濾規則的安全手段正在失效,自下而上的語義聚類分析很可能會成為各大廠商的標配。
不過在我們看來,這種機制也暗藏博弈。如果黑產故意把攻擊樣本分散成極其小眾、達不到聚合閾值的微小流量,AI 聚類工具很可能會出現盲區。怎樣在隱蔽的長尾流量裡維持防線,依然是個待解的難題。
來源 (1)
- anthropic.com(在新分頁開啟)原文anthropic.com