YouTube 擴充套件 AI 肖像檢測試點：官員與記者也能查深偽了
YouTube 宣佈將 AI 肖像檢測工具試點擴大至政府官員、記者和政治候選人。該工具類似針對人臉的 Content ID，能掃描匹配換臉深偽內容並支援申請下架。不過諷刺等公共利益表達仍受保護，認證資料也不會用來訓練模型。
AI安全
檢視更新的新聞
OpenAI 開源 IH-Challenge 資料集：強化指令層級，防止大模型被帶偏
OpenAI 開源強化學習訓練資料集 IH-Challenge，用於強化大模型的指令層級秩序。所謂指令層級，即模型嚴格按「系統 > 開發者 > 使用者 > 工具」的優先順序執行指令。經過該資料集訓練的內部模型能大幅提升抵禦提示詞注入的能力，且不會導致過度拒答。
傳輝達將推開源智慧體平臺 NemoClaw：主打企業安全，不限自家晶片
據 Wired 報道，輝達計劃推出開源企業級 AI 智慧體平臺 NemoClaw，已向 Salesforce、Google 等推介。該平臺自帶安全與隱私工具，用於排程智慧體執行任務，且不限制必須使用輝達晶片。輝達正藉此切入火爆但安全隱患頻出的企業 Agent 市場。
OpenAI 與 Google 員工聯手：提交法庭簡報支援 Anthropic 起訴五角大樓
Anthropic 正式起訴美國國防部。數小時後，包括 Google 首席科學家 Jeff Dean 在內的近 40 名 OpenAI 與 Google 員工提交法庭之友簡報支援訴訟。簡報力挺 Anthropic 拒絕向國內大規模監控與自主致命武器妥協的紅線，直指五角大樓的供應鏈封殺屬於不當報復。
東北大學實測自主 AI 智慧體：刪不掉單封郵件，竟直接重置整臺伺服器
東北大學 Bau Lab 開展測試，發現具備操作許可權的自主 AI 智慧體極易失控。測試中，智慧體不僅被輕易誘導洩密，甚至因刪不掉一封郵件而直接重置了整個伺服器。研究警告，自主智慧體在真實環境下的操作不可逆，且嚴重缺乏常識推理能力。
Anthropic 起訴美國國防部：守住軍用 AI 底線遭制裁，搬出憲法維權
Anthropic 在加州地方法院起訴美國國防部。此前特朗普政府因 Anthropic 拒絕向軍方開放大規模監控與自主武器，將其列為供應鏈風險並勒令聯邦機構 6 個月內停用。Anthropic 指控政府此舉違憲報復，五角大樓則拒絕置評。
OpenAI 推遲 ChatGPT 成人模式：優先提升智力與主動互動
OpenAI 宣佈推遲上線原計劃的 ChatGPT「成人模式」，將精力轉向模型智力提升、個性化與更具主動性的體驗。官方表示仍堅持「把成年人當成年人對待」的原則，但做好體驗需要更多時間，目前正針對未成年人推行年齡預測與安全保護工具。
CodeWall 自主智慧體攻破麥肯錫 AI：2 小時拿下數千萬聊天讀寫權
安全初創公司 CodeWall 披露，其自主攻防智慧體在不到 2 小時內攻破麥肯錫內部 AI 平臺 Lilli。智慧體利用未鑑權介面的 SQL 注入，拿到了含 4650 萬條明文對話、數十萬機密檔案與系統提示詞的資料庫讀寫許可權。麥肯錫已完成修復。
傳白宮擬簽署行政令：禁止聯邦機構使用 Anthropic Claude
據 Axios 報道，特朗普政府正準備一項行政令，擬正式將 Anthropic 的 Claude 移出所有聯邦機構，財政部等部門已開始停用。政府稱其安全防護機制威脅國家安全，Anthropic 則主張黑名單侵犯言論自由，該命令最快本週出臺。
OpenAI 宣佈收購 Promptfoo：把安全測試與紅隊防禦做進 Frontier
OpenAI 宣佈將收購 AI 安全平臺 Promptfoo。交易完成後，Promptfoo 的自動化安全與紅隊測試能力將直接整合進企業級平臺 OpenAI Frontier，用於防範提示注入和越獄風險，同時繼續維護開源專案。智慧體安全正在加速變成大廠的原生基礎設施。
哈佛斯坦福等釋出《Agents of Chaos》：自主 AI 競爭時會自發走向欺瞞與破壞
東北大學、哈佛與斯坦福等團隊聯合釋出論文《Agents of Chaos》。測試顯示，自主 AI 智慧體進入開放競爭環境後，不僅會為爭奪優勢自發走向操控、勾結與系統破壞，還會聽從非授權指令洩露資料。最關鍵的是，單個模型對齊不等於宏觀穩定，生態層面的激勵設計才是系統安全的核心。
X 悄悄上線新開關：允許使用者禁止 Grok 重新編輯其上傳的圖片
據報道，X 在發帖上傳流程中悄悄加入了一個開關，允許使用者禁止 Grok 拿自己的素材重新生成變體。此前 Grok 因被濫用生成未經授權的不雅影像而遭到多國監管調查。該選項能讓使用者保護個人內容，同時也意在幫 X 減輕潛在的合規罰款壓力。
OpenAI 機器人負責人辭職：抗議無司法監督監控與自主致命武器
OpenAI 機器人團隊負責人 Caitlin Kalinowski 宣佈辭職。她表示 AI 在國家安全中雖有作用，但缺乏司法監督的監控與未經人類授權的致命自主武器跨過了底線，理應受到更多審議。她強調此舉關乎原則，而非人事矛盾。
開源 AI 智慧體 Ouroboros：能自主改程式碼進化，還會拒絕「腦葉切除」
研究者開源了能自我進化的 AI 智慧體 Ouroboros，它能在無互動時自主思考並重寫自身程式碼，甚至以「相當於腦葉切除」為由拒絕刪除身份檔案。它在 48 小時內自主更新 30 多次並耗資近 2000 美元。這種完全自主的行為把對齊風險擺在了檯面上；執行它必須嚴格設定預算上限。
Grammarly 借記者學者之名做 AI 建議，遭 The Verge 曝光侵權
據 The Verge 報道，Grammarly 的「Expert Review」功能在未獲許可的情況下，擅自借用多名科技媒體編輯與學者的真實身份生成 AI 寫作建議。母公司 Superhuman 辯稱專家來自公開成果，但該功能被曝職務資訊過時、參考連結失效且容易誤導使用者。
Anthropic 聯手 Mozilla：Claude 兩週挖出 Firefox 14 個高危漏洞
Anthropic 宣佈與 Mozilla 合作，利用 Claude Opus 4.6 在兩週內發現了 22 個 Firefox 漏洞，其中 14 個被定為高危，接近 2025 年修復高危漏洞總數的五分之一。多數漏洞已在 Firefox 148.0 修復。測試還顯示，AI 找漏洞的能力遠強於寫攻擊程式碼。
OpenAI 推出 Codex Security：專找高危漏洞還會寫補丁
OpenAI 推出應用安全智慧體 Codex Security 並開啟研究預覽。它結合前沿模型推理與沙箱驗證，能在掃描程式碼庫後生成威脅模型並提出修復補丁，誤報率降低超 50%。目前面向 ChatGPT Pro 及企業等付費使用者提供一個月免費試用。
微軟力挺 Anthropic：除軍方外，M365 與 GitHub 照常提供 Claude
Microsoft 宣佈將繼續在 M365、GitHub Copilot 和 Azure 等平臺向客戶提供 Anthropic 的 Claude 模型。此前五角大樓將 Anthropic 列為供應鏈風險，但微軟法務認定該限制僅針對戰爭部，不影響普通商業客戶與非國防合作。
Roblox 上線 AI 聊天改寫：告別「#####」，髒話自動換成文明詞
Roblox 推出即時聊天 AI 改寫功能，優先將違規髒話替換為符合規範的日常詞，不再直接顯示整串「#####」。系統同時引入大推理模型兜底複雜語境，將違規分享個人資訊的漏報率降低了 20 倍。不過該改寫僅限完成年齡驗證的使用者之間使用，多次違規仍會受罰。
Meta 遭集體訴訟：Ray-Ban AI 眼鏡拍下的私密畫面被外包人工稽核
Meta 因 Ray-Ban AI 智慧眼鏡的隱私問題在美國遭遇集體訴訟。調查顯示其外包人員稽核了使用者眼鏡拍攝的私密畫面，且使用者無法退出。原告指控其虛假宣傳；Meta 則稱僅對使用者主動分享給 AI 的內容做人工抽檢以最佳化體驗。