Google DeepMind 組建新團隊:原 Sora 負責人帶隊造「世界模型」
前 OpenAI Sora 聯合負責人 Tim Brooks 宣佈在 Google DeepMind 組建新團隊,研發模擬物理世界的生成模型。團隊將結合 Gemini、Veo 與 Genie 的成果,探索具身智慧規劃與即時互動生成。DeepMind 認為這是通往 AGI 的關鍵路徑。
前 OpenAI Sora 聯合負責人 Tim Brooks 宣佈在 Google DeepMind 組建新團隊,研發模擬物理世界的生成模型。團隊將結合 Gemini、Veo 與 Genie 的成果,探索具身智慧規劃與即時互動生成。DeepMind 認為這是通往 AGI 的關鍵路徑。
Meta 研究人員近期釋出兩篇論文,提出 LIGER 和 Mender 兩項生成式檢索技術。系統將內容推薦轉化為類似語言模型的序列預測,不僅讓儲存和推理成本保持穩定,還能用大模型提煉隱式偏好,改善傳統新內容的冷啟動難題。
研究人員在 arXiv 釋出新架構 Titans。它把注意力機制當短期記憶,配合可在測試時學習的神經長期記憶模組,在保持快速並行訓練與推理的同時,將上下文擴充套件至 200 萬 token 以上,表現超越傳統 Transformer。
OpenAI 前首席科學家 Ilya Sutskever 在 NeurIPS 發表演講。他指出網際網路高質量資料已經見頂,類似化石能源一樣有限,現有的預訓練模式必定走向終結。未來 AI 必須靠有限資料進行真正推理,並轉向具備自主決策能力的智慧體。
Anthropic 宣佈最新合作研究「Best-of-N Jailbreaking」。研究團隊發現了一種簡單通用的越獄手段,不僅能繞過前沿 AI 模型的安全機制,還能同時跨越文本、視覺和音訊模態生效。
Anthropic 公佈隱私保護分析系統 Clio(現稱 Anthropic Insights)。它讓 Claude 自行提煉並聚類數百萬條真實對話,人工分析師只能看到脫敏後的宏觀主題,以此摸清真實用法並排查批次濫用。最值得關注的是,這讓平臺在不窺探使用者隱私的前提下,也能捕捉新型安全隱患。
IBM 公佈共封裝光學(CPO)突破,推出首個聚合物光波導原型。該方案用光路替代伺服器間銅線,能將大模型訓練速度提升最多 5 倍、能耗降低 80% 以上。這項技術已通過全部製造應力測試,意在徹底解決 GPU 等待資料傳輸的空閒痛點。
Sakana AI 推出神經網路注意力記憶模型 NAMMs,模仿人類大腦機制讓模型主動剔除冗餘 token。該系統通過演化演算法最佳化注意力矩陣,在壓縮視訊記憶體的同時提升了長文本推理表現,還能零樣本直接遷移到視覺和強化學習模型中。
NVIDIA 聯合馬里蘭大學公佈 AI 模型 QUEEN。該模型通過複用靜態背景、只重構動態內容,在 GPU 上實現了每秒約 350 幀的渲染速度。這意味著觀眾未來能從任意角度看比賽直播,也能輔助遠端遙控機器人,程式碼即將開源。
研究團隊提出結合自迴歸 Transformer 的歸一化流架構 TARFlow,讓這一長期被擴散模型壓制的範式重獲新生。它採用單一可逆網路和最大似然目標,在保持完全可逆特性的同時,樣本質量追平擴散模型,並能擴充套件至影像與影片生成。
Google 釋出最新量子晶片 Willow。該晶片在增加量子位元時成倍降低錯誤率,攻破了困擾學界近 30 年的「低於閾值」量子糾錯難題;在標準基準測試中,Willow 用不到 5 分鐘就完成了當前頂級超算需要 10^25 年才能完成的計算任務。
Sakana AI 研究人員開發出名為 CycleQD 的新框架,通過進化演算法直接融合多個不同專長的小模型。該方法利用模型合併與矩陣分解進行交叉和變異,測試顯示其在程式碼、資料庫和系統操作任務上的表現超過了傳統微調與模型合併,算力消耗大幅降低。
研究人員提出蛋白質模擬系統 BioEmu。它將擴散模型與分子動力學資料結合,單張 GPU 每小時即可生成數千個獨立的蛋白質構象樣本,自由能誤差約 1 kcal/mol。這讓原本依賴超算耗時良久的蛋白質動態分析,在數小時內就能低成本完成。
Google DeepMind 推出 AI 天氣集合預報模型 GenCast 並開原始碼和權重。在 1320 項指標測試中,它有 97.2% 勝過歐洲中期天氣預報中心 ENS;單張 TPU 僅需 8 分鐘即可跑完 15 天預測。
Google DeepMind 釋出基礎世界模型 Genie 2。輸入一張靜態圖片,它就能推演生成支援鍵鼠操控的 3D 互動環境,最長維持 1 分鐘一致性。這意味著研究者無需依賴預設遊戲,就能為具身智慧體批次打造無限的訓練場景。目前該技術仍處於早期研究階段。
Allen Institute for AI 與 UC San Diego 團隊提出氣候模型 Spherical DYffusion。它通過球面條件擴散過程學習物理模型資料,將 10 年氣候模擬從 78 小時壓縮到不到 3 小時,提速超 25 倍,不過極地和高空預測偏差仍高於傳統模型。
初創公司 Altera 披露在《我的世界》中開展的 Project Sid 實驗,多達 1000 個由大模型驅動的智慧體在無額外人類干預下,自發形成了職業分工、為稅改投票並傳播宗教。最值得關注的是,它們展現出複雜的社會群體湧現行為。不過這依然是模型對人類行為模式的高階模仿,AI 並不具備真實意識。
MIT 研究團隊公佈名為 Earth Intelligence Engine 的新工具,將生成對抗網路與物理洪水模型結合,能提前預測並生成暴風雨過後的衛星圖。這能解決純 AI 經常在不可能積水的高地「瞎編」淹水畫面的幻覺問題,幫助居民更直觀地做撤離決策。