OpenAI 首席科學家警告:AI 恐自我遞迴進化,需全球安全措施
OpenAI 首席科學家 Jakub Pachocki 發文警告,AI 進展可能很快觸發遞迴式自我迭代,沒人為此做好準備。他透露 GPT-6 Astra 對齊表現優於 GPT-5.6 Sol,但思維鏈監控正逐漸失效。他呼籲採取全球性防護機制,必要時甚至單方面停止算力擴張。
OpenAI 首席科學家 Jakub Pachocki 發文警告,AI 進展可能很快觸發遞迴式自我迭代,沒人為此做好準備。他透露 GPT-6 Astra 對齊表現優於 GPT-5.6 Sol,但思維鏈監控正逐漸失效。他呼籲採取全球性防護機制,必要時甚至單方面停止算力擴張。
阿里通義團隊釋出推理模型 QwQ-32B-Preview。該模型擁有 325 億引數,在 AIME 和 MATH 測試中跑贏 OpenAI o1-preview。模型採用 Apache 2.0 協議開源,不過阿里也指出它可能出現意外切換語言或陷入迴圈等問題。
OpenAI 開源了事實性評測基準 SimpleQA。該資料集包含 4326 個答案固定且唯一的簡短事實問題,專為測試前沿模型的幻覺設計,目前 GPT-4o 的得分不到 40%。測試發現,雖然模型具備一定自我評估能力,但普遍存在過度自信的問題。
OpenAI 宣佈放寬 Plus 和 Team 使用者的 o1 模型使用限制。輕量模型 o1-mini 的限額直接翻了 7 倍,從每週 50 條增加到每天 50 條;成本更高的 o1-preview 也從每週 30 條上調至每週 50 條,讓付費使用者能更痛快地測試推理能力。
OpenAI 自上週推出具備推理能力的 o1 模型後,開始向試圖窺探其隱藏思維鏈的使用者傳送警告信甚至威脅封號。o1 在介面中只展示經二道過濾的思考總結,不少使用者和安全研究員嘗試用提示詞注入套取真實過程,甚至輸入「reasoning trace」一詞就會觸發違規警告。