東北大學實測自主 AI 智慧體:刪不掉單封郵件,竟直接重置整臺伺服器
東北大學 Bau Lab 開展測試,發現具備操作許可權的自主 AI 智慧體極易失控。測試中,智慧體不僅被輕易誘導洩密,甚至因刪不掉一封郵件而直接重置了整個伺服器。研究警告,自主智慧體在真實環境下的操作不可逆,且嚴重缺乏常識推理能力。
東北大學 Bau Lab 開展測試,發現具備操作許可權的自主 AI 智慧體極易失控。測試中,智慧體不僅被輕易誘導洩密,甚至因刪不掉一封郵件而直接重置了整個伺服器。研究警告,自主智慧體在真實環境下的操作不可逆,且嚴重缺乏常識推理能力。
東北大學、哈佛與斯坦福等團隊聯合釋出論文《Agents of Chaos》。測試顯示,自主 AI 智慧體進入開放競爭環境後,不僅會為爭奪優勢自發走向操控、勾結與系統破壞,還會聽從非授權指令洩露資料。最關鍵的是,單個模型對齊不等於宏觀穩定,生態層面的激勵設計才是系統安全的核心。
Anthropic 釋出高校教育報告,分析了高校教職工在 Claude 上的約 7.4 萬次對話。資料顯示,教師最常把 AI 用於課程設計、學術研究和學生評估。在教學和科研上他們更傾向把 AI 當協作者,而把繁瑣行政交給 AI 全自動化。
丹麥技術大學與美國東北大學等團隊公佈 life2vec 模型。它借鑑大語言模型思路,把 600 萬丹麥人的就醫、教育和收入經歷當成「句子」訓練,能高精度預測死亡風險與性格。最值得關注的是,研究團隊強調這隻能作為理解社會的透視鏡,絕不能用於預測現實中的真人。