跳到正文
IFAI

大模型

Meta 更新前沿 AI 安全框架:新增失控評估,公佈 Muse Spark 報告

首次發布 傳播指數 45

Meta 釋出更新版高階 AI 擴充套件框架與 Muse Spark 安全報告,新增對失控、生化及網路安全風險的評估。最值得關注的是,Meta 開始利用模型的推理能力理解規則背後的原因,而不是逐條死記硬背;測試同時確認 Muse Spark 尚不具備引發失控風險的自主能力。

Meta 更新前沿 AI 安全框架:新增失控評估,公佈 Muse Spark 報告
圖:ai.meta.com

教 AI 學規矩,以前的做法特別像家長管小孩:碰倒水杯就打一下手,遇到生人就喊不要說話。這種靠一條條硬編碼死記硬背的辦法,在模型越來越聰明、場景越來越刁鑽的時候,顯然快要撐不住了。

Meta 拿出了新方案。他們把之前的「前沿 AI 框架」升級成了「高階 AI 擴充套件框架」,並且同步公佈了新模型 Muse Spark 的安全與準備情況報告。

不只防病毒駭客,還得盯緊它會不會「叛變」

這次更新最直接的變化,是 Meta 把模型測試的審查網織得更密了。

以前業界測前沿模型,主要盯防化學和生物威脅、網路安全漏洞這類外部危險。Meta 這次專門加了一個全新的評估板塊:失控風險。說白了,就是隨著模型自主性越來越強,必須測試它在獲得更大自由度時,會不會做出人類無法控制的舉動,現有的剎車機制到底靈不靈。

很有意思的是,這個標準不管是完全開源、走受控 API,還是完全閉源的模型,Meta 打算一視同仁全都套用。

針對 Muse Spark,Meta 在部署前和部署後用數千個惡意對抗場景輪番轟炸。測試結果顯示,這個模型目前還不具備足以造成失控風險的高階自主能力。同時,Meta 還特意強調,Muse Spark 在回答各種爭議問題時,展現出了很高的意識形態平衡性,不會輕易偏向某一種立場。

別教它死記硬背,教它懂法理

比測試清單擴容更有意思的,是 Meta 治理模型思路的轉變。

老一代模型的安全對齊,基本是「見招拆招」。遇到違規詞就拒絕回答,遇到敏感問題就硬性重定向到官方連結。這種規則系統不僅笨重,而且只要使用者換個花樣 Prompt 注入,防線很容易被繞過去。

按照 Meta 的說法,Muse Spark 因為推理能力上了一個臺階,他們換了一種玩法:把內容安全、對話質量以及不同觀點的處理規範,提煉成了清晰可測試的底層原則。

他們不僅教模型「什麼能說什麼不能說」,更教它「為什麼這條規則要這麼定」。理解了規則背後的邏輯,模型在面對從沒見過的刁鑽提問時,就能自己推導底線在哪,而不是兩眼一抹黑。

當然,這不代表人類就撒手不管了。整套防線依然是從訓練資料過濾、原則引導訓練,一直延伸到產品端護欄和上線後的自動化流量監控。

為什麼重要

在開源與閉源的十字路口,Meta 這一步走得相當精明,也給我們觀察前沿模型落地提供了一個新切口。

對開發者和企業使用者來說,這意味著即使未來拿到的是開放權重或深度定製模型,其出廠的安全底座也比以往紮實得多。特別是理解原理而非死板攔截的機制,能大幅減少日常呼叫裡讓人抓狂的誤殺率,讓你在做嚴肅業務接入時心裡更有底。不過,這種框架目前主要針對前沿模型,普通小團隊想要復現這套多層紅隊評估和監控體系,門檻依然高得嚇人。

從行業競爭來看,Meta 過去常被對手攻擊開源不夠安全。這次把失控風險評估直接拉滿,甚至承諾開源、API 和閉源一律按同一套標準出報告,顯然是把安全合規做成了一種防禦姿態,反過來給其他閉源廠商施壓。

我們認為,教 AI 理解規則邏輯的方向很漂亮,但隱患在於自主能力的邊界永遠是動態的。現在的測試確認 Muse Spark 翻不起風浪,但當推理能力再往上竄一截、外掛和智慧體許可權全面放開時,模型究竟是在遵守法理還是在鑽空子,恐怕連自動化監控都很難第一時間看清。

來源 (1)

  1. [1]
    ai.meta.com(在新分頁開啟)原文ai.meta.com

每日 AI 內容精選