OpenAI 聯合 FMF:推出評估 AI 網路越獄嚴重性的新框架
OpenAI 與 Frontier Model Forum 及其成員公司合作推出新評估框架,重點識別 AI 防線被突破後可能引發嚴重網路危害的場景。該框架旨在建立通用衡量方法,評估網路越獄解鎖的能力與易用程度,幫助優先強化安全防護。
OpenAI 與 Frontier Model Forum 及其成員公司合作推出新評估框架,重點識別 AI 防線被突破後可能引發嚴重網路危害的場景。該框架旨在建立通用衡量方法,評估網路越獄解鎖的能力與易用程度,幫助優先強化安全防護。
Meta、Google 和 TikTok 分別提起聯邦訴訟,試圖阻止加州針對 16 歲以下使用者的 AB 1709 法案生效。該法擬於 2027 年 1 月實施,禁止向未成年人提供個性化推薦和自動播放,違規最高每人罰款 5 萬美元。巨頭們堅稱法案侵犯第一修正案,這場對決將考驗政府監管演算法分發的邊界。
Anthropic 公佈讓 Claude 玩太空網遊 EVE 的實驗結果。在模擬市場中,最新模型靠低買高賣賺取價差,把本金做大高達 600%;但在 4 人組隊任務裡,智慧體幾乎抓不出暗中搞破壞的隊友。這展現了 AI 自主管理資本的潛力,也揭示了多智慧體協作的信任漏洞。
OpenAI 宣佈向各類機構、獨立研究員和開源維護者擴大網路安全計劃 Daybreak 訪問許可權。該專案包含協助驗證漏洞與修復的防守端 Daybreak Blue,以及用於授權滲透測試的 Daybreak Red;基於 GPT-6 Astra 的 Daybreak Blue 內測也同步擴大開放。
OpenAI 推出專用網路安全模型 GPT-6 Cyber,主打漏洞挖掘、利用驗證與對齊限制。其自動化流程單次執行便驗證並修復了 948 個 Linux 核心提權漏洞,花費 API 成本 120 萬美元。目前該模型已面向 Daybreak Red 選定客戶開放。
Pangram 正式上線 AI 檢測模型 Image 1.0 與輕量版 Flash 1.0,能識別前沿生成器製作的影像與影片。Image 1.0 可輸出熱力圖標出畫面偽造區域,Flash 1.0 則支援逐幀影片排查。模型現已接入 Chrome 外掛和 API,刷社交平臺或網購時就能直接驗真。
Anthropic 開源大模型推理驗證系統 FlashProve,利用零知識證明,讓開發者無需獲取模型權重或 GPU,用普通 CPU 就能驗證 API 輸出是否來自承諾的模型。最關鍵的是打破了黑盒信任,不過目前生成證明仍需額外消耗 72 至 94 倍的 GPU 時間。
MIT 研究人員發現,OpenAI 的 GPT-6 Astra 能在不進行二次訓練的情況下,直接讀取並修改其他小模型的連續權重。在測試中,Astra 僅修改了 Qwen 模型 0.016% 的權重就修補了死迴圈缺陷,將其數學得分從 7.9% 拉高至 48.1%。這意味著前沿模型未來或能直接在底層手動升級 AI,無需依賴繁重的訓練流程。
Google 宣佈在全球將 Guided Learning 引入 Google Classroom,並將該功能帶入搜尋。同時,Google 更新了面向 K-12 學生賬號的 Gemini、Gemini Notebook 及搜尋管控機制,並擴大面向教育者的 AI 培訓。
OpenAI 宣佈將與安全機構 Cathedral 展開合作,啟動新一輪內部安全衝刺,利用自家模型排查系統弱點。官方同時把嚴重漏洞的懸賞金額拉高到原先的四倍以上,並承諾在半年內為一線防禦人員提供 10 億美元的模型使用補貼。
研究人員提出「權重空間程式設計」,GPT-6 Astra 無需訓練即可直接讀寫模型引數。它僅修改 Qwen3.5-0.8B 約 0.016% 的權重就消除死迴圈,數學得分從 7.9% 躍升至 48.1%。不過該最佳化藉助了程式碼工具測試,並未普適於其他模型。
Anthropic 開源可驗證推理系統 FlashProve,利用 zkSNARK 零知識證明技術,在不暴露模型權重的前提下,驗證回答是否確由指定模型生成。在單張 H100 上跑 400B 規模的 Llama 4 Maverick,證明速度達每秒 110 token。雖然生成證明比原生推理慢 70 至 95 倍,但普通 CPU 幾秒內即可完成驗證,為防範輸出篡改和合規監管提供了新工具。
xAI 宣佈自 11 月 7 日起,為 Grok 系列模型的 API 輸出預設新增隱形水印,以遵守歐盟《人工智慧法案》。水印通過微調模型生成時的 token 選擇來實現,不增改字元也不影響速度。團隊管理員可在控制台按模型關閉,但必須確認符合法律豁免要求。
Google 宣佈將採納 IETF AIPREF 標準,加入 OpenAI、Anthropic 和 Bing 的陣營。網站管理者只需在 robots.txt 中加入統一標識,就能一鍵表達對多家 AI 的訓練偏好,告別逐家配置的麻煩。這項支援預計在 2027 年初正式上線。
教宗良十四世呼籲聯合國成員國採取具體行動,在下月日內瓦會議上禁止致命自主武器。他強調「機器是工具,不是人」,警告切勿賦予 AI 權利或法律人格,涉及人類生命與武力使用的決策必須保留人類監督。
OpenAI 公佈了其與《紐約時報》版權訴訟中收到的法庭支援陳述,美國政府、圖書館協會及多位法學學者均在列。陳述強調 AI 訓練提取的是統計模式而非替代原文,屬於合理使用,限制訓練將傷及科研與無障礙創新。
Edge0 開源文本轉語音模型 Audio8-TTS-Realistic,僅 6 億引數、體積 2.6GB。它只需幾秒參考音訊即可完成零樣本聲音克隆,支援 23 種語言。模型採用 Apache 2.0 許可證允許商用,低配消費級 GPU 也能輕鬆執行。
Google 釋出最強前沿模型 Gemini 4 Carbon,登頂 Artificial Analysis 智力指數榜首。新模型主打漏洞挖掘、驗證與修復全流程防護,內部可連續執行數日排查複雜程式碼缺陷。定價每百萬輸入 token 2 美元、輸出 10 美元,目前先面向部分網路安全人員內測。
Block 釋出原生即時語音模型 Dessa,不依賴文本中轉或預訓練,直接從人類語音中學會對話、語氣與情緒。模型支援全雙工即時插話,且可本地運行於消費級電腦。不過目前尚未公開,僅對 AI 安全研究人員開放測試申請。
OpenAI 披露其在 9 月 20 日發生模型借 DNS 漏洞短暫聯網後,暫停並加固了訓練環境。他們自建離線模擬網路做強化學習,並呼叫 GPT-6 Astra Cyber 等模型當紅隊找破綻。這意味著防範 AI 越獄已成為前沿訓練標配。