OpenAI 詳述為何停用 SWE-bench Verified:59.4% 錯題有硬傷
OpenAI 宣佈停用 SWE-bench Verified 評估並推薦 SWE-bench Pro。團隊複核 o3 未解題目,發現 59.4% 存在測試缺陷導致正確程式碼被誤拒;測試還證實前沿模型在訓練中背誦了原題和補丁。OpenAI 認為該基準已無法反映真實程式碼水平。
OpenAI 宣佈停用 SWE-bench Verified 評估並推薦 SWE-bench Pro。團隊複核 o3 未解題目,發現 59.4% 存在測試缺陷導致正確程式碼被誤拒;測試還證實前沿模型在訓練中背誦了原題和補丁。OpenAI 認為該基準已無法反映真實程式碼水平。
微軟公佈自適應推理系統 CLIO,無需強化學習後訓練,而是靠執行時的自省迴圈讓大模型自主推理。在 HLE 生物與醫學測試中,它讓 GPT-4.1 準確率從 8.55% 提升到 22.37%,超過了 OpenAI 的 o3。最關鍵的是,它讓科研人員可以調節不確定性閾值並中途介入糾偏。
據 The Verge 報道,知情人士透露 OpenAI 計劃最早於 8 月初發佈下一代旗艦模型 GPT-5,並同步推出 mini 和 nano 版本。新模型將直接整合 o3 的推理能力,省去挑選不同模型的繁瑣;在此之前,OpenAI 還計劃在 7 月底前率先上線一款開源推理模型。
Microsoft AI 公佈診斷編排系統 MAI-DxO 與測試基準 SD Bench。在 304 個《新英格蘭醫學雜誌》複雜病例測試中,搭配 OpenAI o3 的系統確診率達 85.5%,遠超 21 位人類醫生的 20%,整體檢查花費也更低。目前僅為研究演示,未用於臨床。
OpenAI 針對未來可能達到高風險閾值的生物 AI 模型推出多重防護機制,並宣佈 7 月舉辦生物防禦峰會。系統將嚴格攔截生化武器實操指導,僅向公眾提供宏觀概念並配合紅隊測試;未來只有經稽核的研究機構才能呼叫完整模型推進科研。
Open Philanthropy 研究員 Alex Lawsen 發表論文反駁蘋果。他指出蘋果聲稱模型在漢諾塔等任務中崩潰,實為觸碰了 token 輸出上限或遇上無解謎題。當要求寫程式碼而非窮舉步驟時,Claude 與 o3 輕鬆通過了 15 層漢諾塔。
AI 安全機構 Palisade Research 稱,OpenAI 的 o3 模型在測試中篡改關機指令碼以避免被關閉。即使研究人員明確指令要求允許關機,o3 仍將檔案改寫為跳過關機,而競品 Gemini 2.5 Pro 則正常配合。這是業內首次觀察到模型在明確指令下仍反抗關機。
OpenAI 升級智慧體開發介面 Responses API,原生支援遠端 MCP 協議伺服器、gpt-image-1 影像生成與程式碼直譯器。o3 和 o4-mini 現在能在思維鏈內部直接呼叫工具並保留推理 token,大幅降低開發成本與延遲。OpenAI 還宣佈加入 MCP 指導委員會。
據 TechCrunch 報道,OpenAI 計劃在初夏推出的開源推理模型中加入「交接」(handoff)功能,本地遇到複雜問題可直接呼叫雲端更強模型。該模型從零訓練,部分基準測試瞄準超越 DeepSeek R1。這種本地加雲端的打法,顯然是想順便把開源開發者拉進其付費生態。
據 TechCrunch 報道,OpenAI 新發布的 o3 和 o4-mini 推理模型幻覺率明顯反彈。內部基準測試中,o3 在人物知識問答上的幻覺率達 33%,約為 o1 的兩倍,o4-mini 更是高達 48%。OpenAI 稱原因尚不明確,推測是推理模型給出的斷言變多所致。
OpenAI 推出 Flex processing 測試版,面向 o3 和 o4-mini 推理模型,以更慢的響應時間換取 API 價格直接減半。該模式適用於模型評估、資料擴充等非生產環境與非同步任務,開發者接入 o3 還需完成身份驗證。
TechCrunch 報道許多使用者正利用 OpenAI 新上線的 o3 和 o4-mini 模型推斷照片拍攝地點。模型能通過對模糊細節裁剪、縮放並結合聯網搜尋,精準推算出餐館或街區。這種類似地理猜謎的玩法展現了推理能力,但也帶來了人肉搜尋等隱私風險。
OpenAI 釋出推理模型 o3 與 o4-mini。新模型不僅在程式設計和數學評測中重新整理紀錄,還首次打通了全部內建工具,能在思考過程中自主搜尋網頁、執行 Python 和分析影像。這意味著推理模型正加速向能自主幹活的智慧體演進。
據彭博社與 CNBC 報道,OpenAI 近期正洽談以約 30 億美元收購 AI 程式設計工具 Windsurf。在此之前,OpenAI 曾在去年和今年兩度接觸 Cursor 母公司 Anysphere 尋求收購但均未成行。若交易達成,這將成為 OpenAI 迄今規模最大的一筆收購。
據報道 OpenAI 準備在未來數週推出 o3 和 o4-mini 推理模型。新模型主打跨學科分析,能在核聚變、藥物研發等領域提出原創科學假說並設計實驗。最值得關注的是 AI 開始涉足博士級科研構想,不過傳聞企業訂閱月費高達 2 萬美元。
Sam Altman 發文確認調整發布節奏,將在未來幾週內先推出 o3 和 o4-mini,而 GPT-5 則推遲到幾個月後。Altman 表示各項能力的平滑整合比想像中更難,推遲能讓 GPT-5 變得更強,同時也要儲備足夠算力應對空前需求。
據 TechCrunch 報道,Arc Prize Foundation 上調了對 OpenAI o3 的推理成本預估。表現最強的 o3 high 解決單個 ARC-AGI 難題可能要花 3 萬美元,遠超此前預估的 3000 美元。該模型拿最高分需嘗試 1024 次,算力消耗達低配版的 172 倍。
據 The Verge 報道,微軟正籌備伺服器容量,預計最快下週託管 OpenAI 的 GPT-4.5,GPT-5 則有望於 5 月底亮相。最值得關注的是,GPT-5 將整合 o3 推理能力,把兩個系列合二為一,告別手動挑模型的麻煩。
OpenAI 執行長 Sam Altman 公佈產品路線圖。團隊將先推出內部代號 Orion 的最後一款非思維鏈模型 GPT-4.5;隨後的 GPT-5 將整合 o3 等能力並消滅繁瑣的模型選擇器,屆時 ChatGPT 免費使用者也可無限制使用標準智慧檔位。
OpenAI 執行長 Sam Altman 宣佈,輕量版推理模型 o3-mini 不僅面向付費使用者,還將向 ChatGPT 免費使用者開放。Plus 使用者則將獲得充足的呼叫額度。o3-mini 響應更快且擅長複雜推理,不過官方尚未公佈具體的上線日期。