加州落地 18 項 AI 監管新法：嚴打 Deepfake，死後「數字分身」需授權
9 月底，加州州長 Gavin Newsom 簽署了 18 項 AI 監管法律，同時否決了爭議巨大的 SB 1047。新法全面針對具體場景，重點打擊選舉與色情 Deepfake、強制披露訓練資料來源，並禁止未經許可克隆在世或已故演員的聲畫，監管重心從抽象風險轉向實際侵權。
AI安全
檢視更新的新聞
探測 o1 推理過程或被封號：OpenAI 發警告信嚴守「思維鏈」
OpenAI 自上週推出具備推理能力的 o1 模型後，開始向試圖窺探其隱藏思維鏈的使用者傳送警告信甚至威脅封號。o1 在介面中只展示經二道過濾的思考總結，不少使用者和安全研究員嘗試用提示詞注入套取真實過程，甚至輸入「reasoning trace」一詞就會觸發違規警告。
甲骨文埃裡森談 AI 監控：未來將全天候記錄所有人一舉一動
Oracle 聯合創始人 Larry Ellison 在分析師會議上表示，未來 AI 將驅動龐大的執法監控系統，全天候記錄並監督警察與普通公民，以此降低犯罪率。不過外界擔憂，基於歷史偏差資料的全方位監控極易加劇社會歧視。
OpenAI 安全委員會轉為獨立架構：擁有推遲模型釋出權
OpenAI 宣佈將安全與安保委員會轉為獨立的董事會監督委員會，由卡內基梅隆大學的 Zico Kolter 擔任主席。該委員會擁有在安全顧慮解決前推遲模型釋出的權力，相當於給前沿模型釋出設定了獨立的剎車機制。
LAION 重發 58 億圖文資料集：剔除 2236 條涉嫌違規連結
曾為 Stable Diffusion 提供訓練資料的 LAION 重新發布資料集 Re-LAION-5B。該版本根據多家保護機構的建議，刪除了 2236 條涉嫌違規兒童內容的連結，並提供兩個版本，供研究機構替換舊版或清洗現有資料。
OpenAI 與 Anthropic 簽約：新模型釋出前後接受美政府安全測試
週四，美國 AI 安全研究所宣佈與 OpenAI、Anthropic 簽署備忘錄，兩家公司同意在主要新模型釋出前後向該機構開放訪問許可權，以協助評估風險與提出改進建議。此舉正值美國探討 AI 監管邊界之際，此前兩家公司曾對加州 SB 1047 安全法案表達顧慮。
奧普拉將主持 ABC 黃金檔 AI 特別節目：對話奧特曼與比爾·蓋茨
據 Variety 報道，奧普拉將主持 ABC 黃金檔特別節目《AI and the Future of Us》，定於 9 月 12 日播出。節目將對話 OpenAI CEO 奧特曼、比爾·蓋茨和博主 Marques Brownlee 等人，用通俗語言拆解 AI 對普通人日常生活、就業及教育的衝擊。
加州爭議 AI 法案通過立法會：強制大模型設防，正等待州長簽署
加州備受爭議的 AI 安全法案 SB 1047 已在州立法機構通過，正等待州長簽署生效。該法案要求超大模型開發者建立並記錄防範重大危害的安全保障機制。此前馬斯克出人意料公開表態支援，而 OpenAI 則明確表示反對。
馬斯克公開力挺加州 SB 1047 法案：與 OpenAI 唱反調支援監管
Elon Musk 在 X 上公開支援加州 SB 1047 安全法案。該法案強制大模型廠商防範嚴重危害，即便旗下 xAI 也會被波及。最值得關注的是，老對手 OpenAI 剛剛表態反對，Musk 卻認為這是一項艱難但必要的決定，並強調自己主張 AI 監管已有 20 多年。
Anthropic 公開 Claude 系統提示詞：停用絕對詞，假裝自己「完全臉盲」
Anthropic 公開了 Claude 3.5 Sonnet 等模型的官方系統提示詞。提示詞除了嚴禁識別人臉、要求假裝「完全臉盲」外，還規定不能用「certainly」等絕對詞開頭，並要求中立探討爭議話題。頭部 AI 廠商主動公開系統人設底牌，這還是頭一次。
OpenAI 與微軟支援加州 AI 法案：社交平臺必須明確標註 AI 內容
OpenAI、Adobe 與微軟表態支援加州 AB 3211 法案。該法案不僅要求在 AI 生成的音影片和圖片後設資料中嵌入水印，還強制 Instagram、X 等大型平臺必須用普通人看得懂的方式明確標註 AI 內容。此前曾以「負擔過重」反對的科技巨頭，在法案修正後集體倒戈支援。
扎克伯格聯手 Spotify CEO：歐洲監管正在扼殺開源 AI
Meta CEO 扎克伯格與 Spotify CEO 埃克聯合發文，直指歐洲碎片化且不一致的監管正在扼殺開源 AI 發展。文章透露，因合規不確定性，Meta 將無法在歐洲推出即將釋出的多模態 Llama 模型。他們呼籲歐盟簡化規則，否則歐洲將徹底錯失這波技術紅利。
DeepMind 約 200 名員工聯名施壓：要求管理層切斷軍方技術訪問
Google DeepMind 約 200 名員工簽署聯名信，要求公司終止與軍事組織的合同，並切斷軍方對其 AI 技術的訪問。信中重申了 2014 年被收購時絕不用於軍事或監控的承諾，呼籲設立新的監管機構。不過，Google 目前尚未給出實質回應。
微軟再次推遲爭議功能 Recall：測試延期至 10 月，全量推送或等明年
Microsoft 宣佈將 Recall 推遲至 10 月向 Windows 預覽體驗成員開放。該功能此前因截圖未加密引發巨大安全爭議，微軟正緊急改為預設關閉並強制加密。這表明微軟需要更多時間做安全測試，年內恐難向普通使用者全量推送。
Anthropic 致信加州州長：修改後的 SB 1047 法案利大於弊
Anthropic 致信加州州長 Gavin Newsom，稱加州前沿 AI 監管法案 SB 1047 吸收部分修改建議後大幅改善，目前利大於弊。該法案重點約束耗資巨大的前沿大模型研發方，要求制定安全協議防範災難性風險，同時基本豁免了小型開發者。
OpenAI 正式反對加州 AI 法案：稱扼殺創新，促人才逃離
OpenAI 致信加州議員及州長，正式表態反對加州爭議極大的 AI 監管法案 SB 1047。公司認為該法案會減緩創新節奏、逼迫頂尖人才遷出加州，呼籲通過聯邦法規統一監管。提案議員則反駁稱這一指責「毫無道理」。
McAfee 聯手聯想：在 Copilot-Plus PC 上推 Deepfake 檢測工具
McAfee 宣佈在聯想 Copilot-Plus PC 上推出 Deepfake Detector。該工具在端側執行，目前主要靠分析影片中的音訊來抓取疑似 AI 偽造內容並彈窗報警。提供 30 天免費試用，首年訂閱費 9.99 美元起。
Anthropic 遭作家集體訴訟：被控用盜版書資料集訓練 Claude
當地時間週一，多位作家在加州法院對 Anthropic 提起集體訴訟，指控其使用開源資料集 The Pile 中的 Books3 盜版電子書庫訓練 Claude 模型。原告要求賠償並禁令未來使用其版權作品。此前 Anthropic 已確認曾使用 The Pile 訓練模型。
特朗普轉發 AI 偽造的泰勒·斯威夫特背書圖，並稱「我接受」
據報道，Donald Trump 週末在社交網路釋出 AI 生成圖片，包含偽造歌手 Taylor Swift 為其競選背書的內容，並配文「我接受」。專家指出，現存反深度偽造法規存在盲區，很難限制此類誇張內容，但 Swift 本人或能以侵犯肖像權主張權益。
懷俄明州出現「AI市長」候選人：宣稱勝選後全讓 ChatGPT 決策
美國懷俄明州夏延市長候選人 Victor Miller 承諾，若勝選將讓定製 ChatGPT「Vic」100% 獨立決策，自己僅負責簽字執行。州選舉官員已裁定 AI 無權列入選票，OpenAI 也曾封禁其賬號，但他仍堅持以人機混合模式參選。