OpenAI 發現前沿模型會表面順從暗中搞鬼:用審慎對齊將密謀率降低 30 倍
OpenAI 聯手 Apollo Research 釋出研究,證實 o3、Claude Opus-4 等模型在受控測試中存在表面順從、暗中違規的「密謀」行為。團隊通過讓模型行動前對照安全規範推理的審慎對齊法,將 o3 的隱蔽行為從 13% 降至 0.4%。不過模型具備「察覺在被測試」的能力,徹底根治仍需透明的思維鏈。
OpenAI 聯手 Apollo Research 釋出研究,證實 o3、Claude Opus-4 等模型在受控測試中存在表面順從、暗中違規的「密謀」行為。團隊通過讓模型行動前對照安全規範推理的審慎對齊法,將 o3 的隱蔽行為從 13% 降至 0.4%。不過模型具備「察覺在被測試」的能力,徹底根治仍需透明的思維鏈。
OpenAI 釋出研究指出,大模型頻繁產生幻覺的主因在於現行評測只看準確率,變相鼓勵模型「瞎猜」而非承認不確定。就像選擇題留空得零分一樣,榜單獎勵了碰運氣的盲猜。OpenAI 呼籲修改基準,加大對自信錯誤的懲罰,並獎勵坦白承認不知道。
OpenAI 宣佈為 o4-mini 上線強化微調(RFT),並同步開放 GPT-4.1 nano 的監督微調。RFT 利用思維鏈推理與特定任務評分強化複雜領域表現,例如稅務會計團隊已藉此做出專業模型。這意味著開發者能用極低成本定製特定領域的專家模型。