跳到正文
IFAI

產業動態

Anthropic 出資徵集新 AI 評測基準:重點盯防網路攻擊與欺騙風險

首次發布 傳播指數 39

Anthropic 宣佈設立資助專案,向第三方機構出資開發新一代 AI 評測基準。當前主流評測難以反映真實使用場景,Anthropic 希望重點測試模型在網路攻擊、核武風險及深度偽造欺騙等維度的表現,申請將按滾動方式評審。

Anthropic 出資徵集新 AI 評測基準:重點盯防網路攻擊與欺騙風險
圖:techcrunch.com

現在的 AI 跑分,越來越像在應試刷題。

大模型在各種老牌基準測試裡分數刷得飛起,可一旦放到現實場景中,不僅普通人常用的功能測不出來,大家也越來越懷疑:幾年前設計的考題,真的還能測出今天的生成式 AI 嗎?

Anthropic 決定自掏腰包改變這個局面。這家 Claude 背後的公司宣佈啟動一項資助計劃,專門出錢支援第三方機構開發新一代 AI 評測基準,重點考核高階模型的能力與社會影響。

別隻測做題,測測它會不會搞網路攻擊

按照 Anthropic 在官方部落格裡的說法,高質量且關乎安全的評測工具太難做,目前整個行業處於嚴重的供不應求狀態。

他們想資助的評測非常硬核。除了讓 AI 輔助科學研究、多語言對話、消除偏見和過濾有害內容這些端到端任務外,Anthropic 特別點名了幾類高危場景:發起網路攻擊、增強核武器等大規模殺傷性武器的能力,以及通過深度偽造和假訊息來操縱、欺騙人類。

針對國防與國家安全風險,Anthropic 還表示要推動研發一種早期預警系統,不過目前還沒公開這個系統具體長什麼樣。

為了把這套標準落到實處,Anthropic 計劃搭建新平臺,讓各個垂直領域的專家自己去開發評估方案,甚至組織數千名真實使用者參與大規模試驗。

他們不僅專門招募了一名全職協調員,還表示只要專案有擴充套件潛力,未來不排除直接採購或進一步擴建。入選的團隊除了能拿到不同形式的資金支援,還能直接跟 Anthropic 前沿紅隊、模型微調以及信任與安全團隊的專家交流。

既當選手,又出錢造尺子?

雖然給行業基礎建設投錢是好事,但 Anthropic 本身也是這場大模型商業軍備競賽裡的頭部選手,這種身份難免引來業內的審視。

首先是評測標準的制定權。Anthropic 很坦白地承認,受資助的評測需要與他們自己制定的 AI 安全分級標準保持一致。哪怕這套分級有非營利研究機構 METR 的參與,也意味著拿到錢的第三方可能必須被動接受 Anthropic 對安全與風險的定義。

另一個分歧點在於他們對災難性風險的執念。

業內不少專家對此並不買賬。許多研究者指出,目前幾乎沒有任何確鑿證據表明現階段的 AI 有能力毀滅世界或搞核打擊,動不動拿超級智慧的末日威脅說事,反而轉移了監管層對眼下更迫切問題的注意力,比如模型的嚴重幻覺和資料偏見。

為什麼重要

我們認為,Anthropic 這一步走得極其精明,甚至比單投幾千萬美元做安全公關管用得多。

現有的各類通用跑分榜單早就失去了區分度,模型廠商陷入了在舊考卷裡互卷小數點的泥潭。Anthropic 藉著資助第三方的名義,實際上是在搶奪下一代 AI 評測標準的話語權。一旦這套涵蓋網路安全、國防風險的安全指標成為行業標配,就等於把所有競爭對手拉進了自己最擅長、也最先定義的賽道里。

對開發者和安全研究人員來說,這確實是個好機會。高質量的安全測試往往耗資巨大且缺乏變現路徑,能拿到頭部廠商的資金和紅隊專家支援,哪怕帶著某些框架限制,也是眼下難得的實打實資源。

但這裡的隱患也顯而易見。獨立評測機構的核心價值是中立與公信力,而 Anthropic 歸根結底是一家受商業利益和股東驅動的公司。當未來的考題由參賽選手出資定製,評測界是否還能保持真正的客觀,恐怕要打上一個大大的問號。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選