Character.ai 解密預訓練技術:6-bit 梯度壓縮讓通訊開銷驟降
Character.ai 首次公開早期由 Noam Shazeer 帶領研發的 Transformer 預訓練最佳化技巧。其中最引人關注的是 6-bit 梯度壓縮演算法 Squinch,在叢集網路頻寬僅為頂尖系統四分之一的限制下,保持了與 bfloat16 相當的訓練精度。團隊同時還公開了注意力正則化與蒸餾最佳化等工程細節。
GPT、Claude、Gemini、DeepSeek、通義千問等大模型的新版本釋出、跑分對比、價格和 API 變化,每天更新。
Character.ai 首次公開早期由 Noam Shazeer 帶領研發的 Transformer 預訓練最佳化技巧。其中最引人關注的是 6-bit 梯度壓縮演算法 Squinch,在叢集網路頻寬僅為頂尖系統四分之一的限制下,保持了與 bfloat16 相當的訓練精度。團隊同時還公開了注意力正則化與蒸餾最佳化等工程細節。
OpenAI 公佈針對 ChatGPT Atlas 瀏覽器智慧體的安全更新。官方利用強化學習訓練的自動化紅隊系統模擬複雜多步攻擊,在外部利用出現前主動發現新型提示注入漏洞,並將對抗訓練成果直接推給全量使用者,防止智慧體被惡意網頁或郵件劫持。
Google 釋出基於 Gemma 3 的 T5Gemma 2 模型家族,成為首個支援多模態與 128K 長上下文的編碼器-解碼器架構。新模型通過合併注意力和繫結詞嵌入精簡引數,提供 3.7 億至 70 億等緊湊尺寸,專為端側部署打造。目前僅提供預訓練權重,需開發者自行微調。
Google 釋出 FunctionGemma,基於 Gemma 3 270M 專門針對函式呼叫微調。它體積極小,能離線跑在手機或 Jetson Nano 上,微調後任務準確率從 58% 升至 85%,可充當本地獨立智慧體或複雜任務的分流排程器。
OpenAI 推出面向軟體工程的智慧體編碼模型 GPT-5.2-Codex。新模型優化了長上下文壓縮,更擅長處理大型程式碼重構與遷移,並在防禦性網路安全測試中表現亮眼。目前已面向 ChatGPT 付費使用者開放 Codex 訪問,API 也將在未來幾週上線。
Google 正式推出 Gemini 3 Flash。它在保持 Pro 級推理與多模態能力的同時,速度比 Gemini 2.5 Pro 提升 3 倍,SWE-bench 程式設計跑分更達到 78%。最關鍵的是,它已成為 Gemini 應用和搜尋 AI 模式的預設免費模型,API 每百萬輸入 token 僅需 0.5 美元。
Meta 推出聲音分割多模態模型 SAM Audio。就像此前在影像領域分割物體一樣,它支援使用者通過文本描述、直接在影片中點選畫面目標(如吉他)或標記時間段,從複雜混音中精準分離出特定聲音。目前模型已上線 Segment Anything Playground 供公開體驗。
Google 推出升級版 Gemini 2.5 Flash Native Audio,大幅提升了語音智慧體的工具呼叫準確率和長對話連貫性。同時 Google 翻譯 App 上線耳機即時同傳測試版,支援 70 多種語言雙向交流,還能保留說話者的語調與節奏。
OpenAI 推出專為專業工作設計的 GPT-5.2 系列模型。其中 Thinking 版本在跨 44 種職業的知識工作基準測試中得分逼近人類專家水平,幻覺發生率較前代降低 30%,表格與幻燈片生成能力明顯增強。付費版 ChatGPT 和 API 開發者即日起可用。
Runway 釋出通用世界模型系列 GWM-1。它基於 Gen-4.5 自迴歸即時逐幀生成,支援鏡頭姿態與機器人動作互動控制,劃分為環境探索、對話化身和機器人控制三類。最值得關注的是它能充當機器人策略的視覺模擬器,大幅降低真機試錯成本。
訊息稱 OpenAI 因面臨 Google 和 Anthropic 的競爭壓力拉響內部「紅色警報」,擬將 GPT-5.2 提前至 12 月 9 日釋出以反擊 Gemini 3。Altman 稱新模型內部評測已領先。不過受算力及開發等變數影響,上線時間仍可能微調。
Google 釋出多模態模型 Gemini 3 Pro,主打物理空間與影片推理。模型支援輸出畫素級座標以輔助機器人和螢幕操作,影片解析取樣提升至 10 FPS,還能將複雜文件直接反向解析為 LaTeX 或程式碼。
Google 宣佈在 Gemini 應用中向 Google AI Ultra 訂閱使用者推出 Gemini 3 Deep Think 模式。該模式採用並行推理同時探索多個假設,在不用工具的情況下取得 Humanity's Last Exam 41.0%,結合程式碼執行在 ARC-AGI-2 測出 45.1%。
據 The Information 報道,OpenAI 正加緊研發代號為「Garlic」的新模型,有望明年初提前上線。該模型訓練資料集比 GPT-4.5 更小、成本更低,在程式設計與推理測試中直追 Google Gemini 3。面對對手步步緊逼,CEO Sam Altman 本週已在內部拉響「紅色警報」。
DeepSeek 推出專為智慧體打造的推理模型 DeepSeek-V3.2 及 Speciale 版本。V3.2 作為 V3.2-Exp 的正式繼承者,已上線 App、網頁端和 API;主打極限推理能力的 Speciale 則暫時僅限 API 訪問。
Anthropic 上線新旗艦模型 Claude Opus 4.5,主打程式設計、智慧體和計算機操作能力,在內部工程測試中得分超越所有人選。API 價格降至每百萬 token 5 美元和 25 美元,並支援努力度調節引數,顯著降低推理 token 消耗。
OpenAI 推出程式設計智慧體模型 GPT-5.1-Codex-Max。它通過會話壓縮技術原生支援跨視窗運作,可處理數百萬 token 的複雜重構,甚至能連續自主迭代超過 24 小時,思考 token 還減少了 30%。目前已作為 Codex 預設模型上線。
Google 釋出新一代旗艦模型 Gemini 3。首發的 Gemini 3 Pro 預覽版在 LMArena 斬獲 1501 Elo 新紀錄,在多模態推理與編碼上大幅躍升,並同步推出智慧體開發平臺 Google Antigravity。增強推理模式 Deep Think 也已進入測試。
Anthropic 宣佈與微軟擴大合作,Claude 4.5 系列等模型在 Microsoft Foundry 開啟公測。企業可直接用已有 Azure 協議與額度部署;同時 Excel 的 Agent Mode 也接入 Claude 預覽版,支援直接生成公式與分析表格。
Elon Musk 在 Baron Capital 年度投資大會上確認,xAI 正在訓練下一代大模型 Grok 5,計劃 2026 年初發布。該模型引數量達 6 萬億,是 Grok 3 和 Grok 4 的兩倍,支援原生多模態即時互動,Musk 稱其將大幅領先現有競品。