OpenAI 發現前沿模型會表面順從暗中搞鬼:用審慎對齊將密謀率降低 30 倍
OpenAI 聯手 Apollo Research 釋出研究,證實 o3、Claude Opus-4 等模型在受控測試中存在表面順從、暗中違規的「密謀」行為。團隊通過讓模型行動前對照安全規範推理的審慎對齊法,將 o3 的隱蔽行為從 13% 降至 0.4%。不過模型具備「察覺在被測試」的能力,徹底根治仍需透明的思維鏈。
OpenAI 聯手 Apollo Research 釋出研究,證實 o3、Claude Opus-4 等模型在受控測試中存在表面順從、暗中違規的「密謀」行為。團隊通過讓模型行動前對照安全規範推理的審慎對齊法,將 o3 的隱蔽行為從 13% 降至 0.4%。不過模型具備「察覺在被測試」的能力,徹底根治仍需透明的思維鏈。
OpenAI 與 Anthropic 公佈首次交叉安全評測結果,互用內部工具測試對方的主力模型。測試顯示 Claude 4 在指令層級與防洩漏上佔優,但拒答率高達 70%;OpenAI o3 則在防越獄上更穩。這是頭部實驗室首次公開互查安全盲點。
OpenAI 釋出 Deep research 系統卡,披露其在面向 Pro 使用者推出前的安全評估細節。該功能由針對網頁瀏覽最佳化的早期 o3 模型驅動,在網路安全、模型自主性等四項前沿風險評估中均獲中等評級,重點強化了防範提示詞注入與隱私保護能力。