跳到正文
IFAI

產業動態

Anthropic 聯手美國核安全域性:給 Claude 戴上「涉核監測」緊箍咒

首次發布 傳播指數 41

Anthropic 宣佈與美國能源部國家核安全域性(NNSA)合作開發出一款 AI 分類器,已部署於 Claude 流量中。初步測試顯示,該分類器識別危險涉核對話與良性討論的準確率達 96%,Anthropic 還計劃向行業聯盟分享這一方案。

Anthropic 聯手美國核安全域性:給 Claude 戴上「涉核監測」緊箍咒
圖:anthropic.com

造核反應堆發電和造核武器,底層用的其實是同一套物理原理。當大模型越來越聰明,它到底會不會無意間教別人怎麼造核彈?這個問題,單靠任何一家商業公司自己關起門來測,根本測不準。

Anthropic 宣佈,他們與美國能源部國家核安全域性(NNSA)以及國家實驗室合作,開發了一款專門用來監控核風險的分類器。在初步測試中,這套系統區分「正常學術探討」與「可疑危險涉核對話」的準確率達到了 96%。

目前,Anthropic 已經把這個分類器掛載到了 Claude 的真實流量中,用來即時攔截濫用行為。他們還打算把這套方案共享給前沿模型論壇(Frontier Model Forum),希望能變成整個 AI 行業與政府合作防擴散的標準模板。

讓管核彈的國家隊來劃紅線

核技術天生具有雙重用途。教科書裡的核物理知識完全合法,但稍加組合演變,就可能滑向危險邊緣。

Anthropic 從去年 4 月開始就拉著 NNSA 合作,請官方團隊來評估自家模型的核擴散風險。但光評估顯然不夠,他們這次往前走了一步,直接把核專家的知識變成了線上監控工具。

這個分類器本質上也是一個專門的模型,職責就是盯緊使用者和 AI 聊天的內容。只要有人試圖試探敏感的核武技術細節,它就會立刻識別出來。

根據 Anthropic 公佈的資料,早期實測表明,這套 96% 準確率的分類器在 Claude 的實際流量中運轉良好,既能抓出潛在惡意提問,又不會誤傷正常的科研和學習對話。

為什麼重要

對普通使用者來說,只要你不是在琢磨怎麼攢原子彈,這套過濾系統在日常使用中幾乎不會打擾到你。但如果你是核工程、高能物理領域的學生或科研人員,可能會發現 Claude 在某些邊緣話題上的敏感度變高了。

對行業來說,Anthropic 走通了一條很聰明的路徑。大模型到底安不安全,商業公司自己說了不算,外界也很難信任閉門自測;直接拉著手握絕密知識的 NNSA 進場做「裁判兼教練」,既解決了私營企業缺乏核武器專業判定標準的硬傷,也在政府監管落地前搶先立了標杆。

我們認為,這種「公私合作」模式大機率會被 OpenAI、Google 等同行迅速跟進。但隱患在於,這種針對特定極端風險的分類器很難覆蓋所有惡意變形,駭客用提示詞工程或暗語繞過的貓鼠遊戲依然會繼續。96% 的初步準確率雖然漂亮,但在國家安全這種零容忍領域,剩下的 4% 盲區依然值得警惕。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

每日 AI 內容精選