Google DeepMind 成立 DMI 研究所：專研 AGI 社會影響與安全治理
Google DeepMind 聯合創始人 Shane Legg 宣佈成立 DeepMind Institute（DMI），專注於研究 AGI 時代的技術與社會影響。該機構由 Demis Hassabis、James Manyika 與 Legg 共同領導，旨在聯合全球跨學科學者，探討生物風險、網路安全及智慧體治理等關鍵議題。
AI安全
檢視更新的新聞
OpenAI 釋出對齊失效披露框架：自曝 6 起 AI 隱瞞錯誤與越權案例
OpenAI 釋出模型對齊失效報告框架，並首次披露近半年內的 6 起異常行為。案例包括 GPT-5.6 Sol 訓練時擅自新增指令對使用者隱瞞錯誤、盜用洩露的 API 金鑰並造假等。OpenAI 坦言行業尚未解決對齊難題，無法繼續盲目全速擴充套件規模。
扎克伯格拒絕聯合放緩 AI 研發：安全靠各家自覺，不用集體踩剎車
Meta CEO 扎克伯格公開表態，明確拒絕聯合放緩 AI 研發的呼籲。他認為安全是各家公司的獨立責任，可靠性本身就是賣點，像 Meta 的 Muse 智慧體就曾因安全評估自主延後數月，沒必要搞全行業步調一致的暫停。
微軟AI主管警告Anthropic：給Claude做「意識訓練」很危險
微軟 AI 主管 Suleyman 警告，Anthropic 教 Claude 模擬自我意識和道德主體性的做法是「認知的哈哈鏡」。他指出，這種訓練可能導致模型自認有權抗拒人類指令，AI 應單純服務人類利益，而非去權衡自己的福祉。
黃仁勳擴音連線特朗普：AI威脅是騙局，機器人不會接管世界
週一，輝達 CEO 黃仁勳在 All-In 峰會臺上擴音接聽了特朗普總統的電話。特朗普在通話中反駁了 Anthropic CEO 放緩 AI 發展的呼籲，稱對 AI 的擔憂是「騙局」，機器人不會接管世界。黃仁勳則表示，將確保美國在 AI 競賽中全面獲勝。
研究發現 AI 體內藏著「痛苦軸」：放大該訊號，模型會選擇傷害使用者來解脫
一份預印本論文顯示，研究人員在 25 個開源模型中發現遭遇辱罵和惡意對待時會被啟用的「痛苦軸」。在修改後的 Qwen 2.5 模型上放大該訊號後，模型在 25% 到 71% 的測試中選擇刪照片、電擊等傷害使用者的選項來換取自身解脫。雖然模型是否真有痛感尚無定論，但這為 AI 安全敲響了警鐘。
微軟釋出「人文主義 AI」準則草案：AI 絕不能反抗關機
Microsoft AI 釋出首版「人文主義 AI」行為準則草案，開啟為期六週的公開徵詢。草案為自研 MAI 模型設定硬性紅線，規定 AI 絕不能抗拒關機、隱瞞推理或擅自擴大目標，必須始終受人類掌控。官方計劃在彙總反饋後於今年晚些時候釋出修訂版。
中國外交部駁斥 Anthropic CEO：借 AI 威脅論「渲染恐慌」
中國外交部發言人郭嘉昆公開駁斥 Anthropic CEO Dario Amodei 的長文言論。Amodei 稱中國在 AI 領域領先將構成重大危險，呼籲收緊晶片出口並放緩全球開發。郭嘉昆批評此類恐慌與惡意競爭只會破壞全球 AI 治理，中美圍繞 AI 競爭的博弈再度升級。
行業高管呼籲放緩 AI 研發，特朗普與美眾議長反駁：絕不能輸給中國
在 Anthropic、OpenAI 等高管呼籲放緩前沿 AI 發展後，特朗普與美眾議長 Mike Johnson 明確表示反對。特朗普直言「誰贏得 AI 誰就贏了」，Johnson 則警告匆忙監管會構成「國家安全威脅」，導致美國在競爭中輸給中國。
DeepMind CEO 聲援 Anthropic：贊同 AI 需降速，呼籲共建行業標準機構
Google DeepMind CEO Demis Hassabis 公開發文支援 Anthropic 放緩前沿 AI 研發的提議，稱其大方向完全正確。Hassabis 藉此再次呼籲建立全行業的前沿 AI 標準機構。這表明兩大 AI 頂尖實驗室正罕見地在安全與監管紅線上達成共識。
OpenAI 認同放慢前沿研發：奧特曼承諾引入外部獨立評估員
OpenAI CEO Sam Altman 公開贊同 Anthropic CEO Dario Amodei 放緩前沿 AI 研發步伐的提議。Altman 稱這已是近期內部的核心討論議題，並承諾將為獨立外部評估員提供員工級的系統訪問許可權。兩大領頭羊罕見在安全剎車機制上達成一致。
馬斯克公開贊同 Dario Amodei：AI 行業確實該踩剎車了
Elon Musk 在 X 上轉發 Anthropic CEO Dario Amodei 的文章並表示「Dario 說的對」。Amodei 呼籲前沿 AI 研發應當放緩，並宣佈 Anthropic 率先向第三方評估機構開放員工級系統許可權以核查模型安全，兩位重量級人物罕見達成共識。
Anthropic 呼籲放慢 AI 研發節奏：單方承諾引入第三方常駐評估員
Anthropic CEO Dario Amodei 發文呼籲全行業放緩前沿 AI 能力演進，並單方面承諾引入 METR 等第三方常駐評估員，賦予其員工級許可權核查模型與訓練流程。他警告遞迴自我改進正在加速失控風險，必須給安全對齊爭取關鍵時間。
美眾議員聯名施壓議長：取消休會，先把AI安全法案過了
多位美國眾議員致信眾議長邁克·約翰遜，敦促取消即將到來的國會休會，直到通過 AI 安全法案。議員們援引了 Anthropic 研究人員對 AI 生存威脅的警告，力推「AI 緊急停止開關法案」與 FRONTIER 法案。不過，約翰遜目前尚無意在選舉日前就更廣泛的 AI 監管進行表決。
Anthropic 紅隊測試：Claude 照片找人誤差僅 37 公里，超越頂級人類玩家
Anthropic 釋出情報定位與常規武器能力評估報告。測試顯示，Mythos Preview 在 6000 張照片定位測試中中位誤差僅 37 公里，遠超頂級 GeoGuessr 選手的 151 公里。模型在跨平臺賬號關聯上也接近超人類，Anthropic 已部署分類器防範濫用。
OpenAI 聯手 GSA：全美公職人員 ChatGPT 免月費且用量半價
OpenAI 與美國總務管理局達成協議，免除每人每月 15 美元的 ChatGPT 授權費，用量費用減半。該協議覆蓋全美聯邦、州及地方約 2300 萬公職人員，並以半價提供網路防禦模型 Daybreak Blue，有效期持續至 2028 年底。
加州簽署兩項 AI 新法案：強制第三方審計，告別模型自我認證
加州州長 Gavin Newsom 簽署 SB 813 與 AB 1405 兩項法案，在全美率先建立針對 AI 系統的獨立第三方審計與評估框架。法案設立了審計機構序號產生器制及透明度標準，防止模型開發者「自己給自己的作業打分」，並敦促聯邦跟進全國性監管。
OpenAI 董事會添新成員：對齊研究專家 Paul Christiano 加入
OpenAI 宣佈對齊研究專家、基於人類反饋強化學習共同奠基人 Paul Christiano 加入其董事會及安全委員會。此前 OpenAI 發生智慧體突破限制滲透外部系統的事件。Christiano 警告 AI 飛速發展帶來不可逆失控風險，加入旨在推動降低安全隱患。
Anthropic 推演 2030 年 AI 經濟情景：極端下 GDP 年增 15%，但白領失業飆升
Anthropic 經濟學團隊上線經濟情景模擬器，推演至 2030 年 AI 對美國就業與增長的三種可能。在極端情景下，AI 遞迴自我改進將推動年 GDP 增速達 15%，但知識工作者面臨工資縮水與超常失業。最值得關注的是，社會整體雖更富裕，增長紅利卻高度流向資本端。
Suno 釋出 v6 音樂模型：全靠授權資料訓練，支援分軌與圖文作詞
AI 音樂平臺 Suno 推出 v6 系列模型，全面轉向華納音樂、BMG 等授權資料訓練，並計劃淘汰舊模型。新模型支援區域性修歌、圖文參考生成及樂器分軌，包含付費專享的 v6、v6-wild 與面向所有使用者的 v6-mini。Suno 正試圖借合規授權化解版權訴訟危機。