TARFlow 讓歸一化流重獲新生:借力 Transformer,生成質量追平擴散模型
研究團隊提出結合自迴歸 Transformer 的歸一化流架構 TARFlow,讓這一長期被擴散模型壓制的範式重獲新生。它採用單一可逆網路和最大似然目標,在保持完全可逆特性的同時,樣本質量追平擴散模型,並能擴充套件至影像與影片生成。
研究團隊提出結合自迴歸 Transformer 的歸一化流架構 TARFlow,讓這一長期被擴散模型壓制的範式重獲新生。它採用單一可逆網路和最大似然目標,在保持完全可逆特性的同時,樣本質量追平擴散模型,並能擴充套件至影像與影片生成。
xAI 宣佈在 X 平臺為 Grok 推出自迴歸影像生成模型 Aurora。該模型基於海量網際網路樣本訓練,大幅提升了逼真人像、複雜文字與標誌的渲染能力,並原生支援影像輸入和編輯。目前新功能已在部分地區先行上線,預計一週內向全量使用者開放。
Dec 09, 2024,AMD 釋出並開源單步擴散模型 Nitro Diffusion。新模型基於 Stable Diffusion 2.1 和 PixArt-Sigma 打造,只需一步推理就能生成媲美多步擴散的影像,可部署在資料中心和端側 PC,相關程式碼與權重已上線 Hugging Face。
Google 推出視覺語言模型 PaliGemma 2。它基於 Gemma 2 打造,提供多種模型尺寸,具備視覺理解與互動能力。現有 PaliGemma 使用者無需大改程式碼即可直接替換升級,大幅降低了針對特定任務微調視覺模型的門檻。
OpenAI 宣佈招攬了 Google DeepMind 的三名資深計算機視覺專家 Lucas Beyer、Alexander Kolesnikov 與 Xiaohua Zhai。三人將在 OpenAI 新設立的瑞士蘇黎世辦公室開展工作,專注於多模態 AI 研發。這也意味著頂尖實驗室對稀缺視覺人才的爭奪進一步升級。
Google 宣佈 Imagen 3 全面開放給 Vertex AI 客戶,影片生成模型 Veo 也開啟私測。Veo 支援圖生影片與區域性編輯,最長可輸出 6 秒高畫質片段。這意味著 Google 開始將前沿多模態能力塞進企業雲服務,不過 Veo 目前仍需申請預覽資格。
Amazon 釋出新一代基礎模型家族 Amazon Nova,涵蓋 Micro、Lite、Pro 以及影像生成 Canvas 和影片生成 Reel。最值得關注的是,其在 Amazon Bedrock 上不僅響應速度最快,成本還比同級別頂尖模型直接砍掉至少 75%。
李飛飛聯合創辦的 World Labs 公佈首個系統,能將單張照片變成在瀏覽器裡實時互動的 3D 場景。模型不僅符合物理規律,還能用鍵鼠調節景深並自由移動視角。雖然目前漫遊範圍有限,但為可控的「世界模型」邁出關鍵一步。
Google Labs 推出實驗性專案 GenChess。它接入 Imagen 3 模型,玩家輸入提示詞即可生成經典或創意風格的專屬棋子,並直接與電腦開局對弈。不過該功能目前僅在部分地區可用。
Stability AI 為 Stable Diffusion 3.5 Large 釋出了三款 ControlNet 模型,包括 Blur、Canny 和 Depth。它們分別支援超解析度放大、邊緣線稿控制與深度引導,經約 150 人測試偏好度位居同類首位。年營收 100 萬美元以下可免費商用,支援通過 Comfy UI 呼叫。
MIT 研究團隊公佈名為 Earth Intelligence Engine 的新工具,將生成對抗網路與物理洪水模型結合,能提前預測並生成暴風雨過後的衛星圖。這能解決純 AI 經常在不可能積水的高地「瞎編」淹水畫面的幻覺問題,幫助居民更直觀地做撤離決策。
Luma AI 宣佈將影片生成工具 Dream Machine 拓展為完整創作平臺。官方同步推出 Photon 影像生成基礎模型,宣稱處理速度比同類快最高 800%,並上線全新 UI、iOS 移動端以及面向開發者的 API。
AMD 推出 Amuse 2.2 Beta,正式接入 Stable Diffusion 3.5 系列模型。新版面向 Ryzen AI 300 處理器與 Radeon 7000 顯示卡最佳化,結合 XDNA 超分技術,離線也能輸出 2048x2048 畫素影像,讓輕薄本免配置即可在本地跑高質量生圖。
Runway 釋出全新影像生成基礎模型 Frames,主打風格控制與視覺保真度。該模型擅長在鎖定特定美學風格的同時穩定生成變體,便於創作者構建統一的視覺世界。目前 Frames 正逐步向 Gen-3 Alpha 和 Runway API 使用者推送開放。
KREA AI 宣佈上線 Flux 影像提示詞功能。使用者現在可以在呼叫 Flux 模型生圖時引入參考圖片作為生成條件,以此引導畫面的構圖與風格。該功能目前直接面向所有使用者免費開放。
Meta 宣佈為 Messenger 通話推出多項新功能。視訊通話中支援由 Meta AI 生成個性化背景,同時上線高畫質畫質、背景降噪和語音隔離。如果對方未接通,還能直接錄製語音或影片留言,日常通話更省心。
Niantic 宣佈正在利用《Pokémon Go》等遊戲中玩家上傳的數百萬份現實掃描資料,構建“大型地理空間模型”(LGM)。該模型旨在賦予計算機和機器人行人視角的 3D 空間理解能力,覆蓋許多汽車無法到達的物理角落。
Mistral AI 宣佈全面升級免費助手 le Chat。新版加入了帶引用的聯網搜尋、線上協作的 Canvas 畫布,並接入多模態模型 Pixtral Large 解析複雜圖文 PDF,同時引入 Flux Pro 影像生成和工作流 Agent。目前這些功能均在 Beta 階段免費開放。
Google 宣佈為 Google Docs 引入 Gemini 影像生成功能,底層採用最新的 Imagen 3 模型。使用者通過文字提示詞即可在文件中直接生成插圖或無邊距封面,還能挑選水彩、攝影等風格。該功能面向 Gemini 企業及 Google One AI 付費訂閱使用者開放。
Basejump 公佈 Web3 社交遊戲平臺及 AI 底層架構 Action,並獲得 Community Labs 戰略投資。玩家無需程式設計技能即可靠 AI 打造虛擬形象、遊戲資產甚至完整遊戲,內容依託 AO 超級計算機與 Arweave 鏈上永久儲存,預計 2025 年初上線。