Motion 3-to-4:單目影片直接轉 4D 動態物體,角色動作還能遷移
研究團隊開源 4D 動態生成模型 Motion 3-to-4。它能從單視角影片中直接重建高保真 4D 動態物體,把任務拆解為靜態 3D 形狀與逐幀頂點運動軌跡預測,還能將提取出的角色動作遷移到其他影片中。
Llama、通義千問、DeepSeek 等開源大模型的新版本,以及值得一用的開源資料集、框架和開發工具。
研究團隊開源 4D 動態生成模型 Motion 3-to-4。它能從單視角影片中直接重建高保真 4D 動態物體,把任務拆解為靜態 3D 形狀與逐幀頂點運動軌跡預測,還能將提取出的角色動作遷移到其他影片中。
Overworld 開源即時互動式影片模型 Waypoint-1 及推理庫 WorldEngine,支援通過鍵鼠即時操控畫面。該模型基於上萬小時遊戲影片訓練,在 RTX 5090 上最高可達 60 FPS 且近乎零延遲。不過目前畫面一致性較弱且存在幻覺,已開放 2.3B 小型版本下載。
LightOn 開源端到端視覺語言 OCR 模型 LightOnOCR-2-1B。模型僅 1B 引數,在 OlmOCR-Bench 上不僅超越 9B 的 Chandra-9B,推理速度還比 DeepSeekOCR 快 1.73 倍。全系列採用 Apache 2.0 協議,同步開放了檢測圖片邊框的變體與 1600 萬頁標註資料。
Meta 開源 3D 重建框架 ShapeR。它結合 SLAM 點雲與多模態資料,能把隨手拍攝的影片序列直接拆解,為場景中的每個物體生成具備真實度量尺寸的獨立 3D 網格。這解決了以往 3D 生成將場景糊成一體、無法單獨編輯物體的難題。
FlashLabs 開源端到端即時語音對話模型 Chroma 1.0。它無需經過文本中轉,能直接接收音訊輸入並同步生成語音與文字回覆;輸入一段參考音訊即可實現個性化聲音克隆。模型引數約 4B,採用 Apache-2.0 協議開源,目前僅支援英語。
研究團隊開源多主體動畫模型 CoDance,解決了角色與驅動姿態錯位就無法動起來的難題。它先解綁動作與空間位置,再通過文本和遮罩把動作精準指派給目標角色,無論畫面裡有幾個人、什麼畫風都能生成協調動畫。目前程式碼與權重已全部開源。
Google 推出開源翻譯模型系列 TranslateGemma,提供 4B、12B 和 27B 三個尺寸。模型基於 Gemma 3 並蒸餾了 Gemini 的能力,支援 55 種語言,12B 版本效果反超原本 27B 基準,且保留了直接翻譯圖片內文字的能力。
開源音樂基礎模型 HeartMuLa 釋出,輸入曲風提示詞和歌詞即可一鍵生成含人聲與伴奏的完整歌曲。目前已開放 30 億引數版本,權重約 16GB,支援中英日韓西多語言,旋律一致性與歌詞跟隨度極高。這意味著學術級資源也能做出逼近頂級閉源商業水準的整麴生成工具。
Black Forest Labs 釋出影像生成模型 FLUX.2 klein,能在 13GB 視訊記憶體的消費級顯示卡上實現亞秒級生圖與編輯。模型提供 API 與本地部署支援,其中 4B 版本採用 Apache 2.0 協議開源,9B 版本開放權重,官方同步上線了免費 Demo。
Black Forest Labs 推出快速影像生成模型 FLUX.2 [klein],主打亞秒級推理,官方稱比競品快 30% 以上。新模型分為 9B 與 4B 兩種規格,其中 4B 版本採用寬鬆的 Apache 2.0 開源協議,最低僅需 8.4GB 視訊記憶體即可本地部署,且官方提供了免註冊體驗 Demo。
NVIDIA 推出全雙工語音對話模型 PersonaPlex,支援端到端邊聽邊說與即時打斷。只需一段人設文本和參考音訊,它就能克隆聲線並自然接話或插話。最值得關注的是,它徹底打破了以往全雙工互動與自定義角色不可兼得的死結。
Kyutai 開源輕量級語音合成工具 Pocket TTS,僅 1 億引數,專為 CPU 設計且無需 GPU。在 MacBook Air M4 上僅用 2 核即可實現 6 倍即時速度,首包延遲約 200 毫秒,支援聲音克隆與超長文本,程式碼與模型均已公開。
開發者開源微型音訊超分模型 NovaSR。模型體積僅約 52KB,架構不足 10 層卷積,單張 A100 上執行速度可達 3600 倍即時,能把 16kHz 的發悶音訊還原為 48kHz 高畫質聲音。它幾乎不佔視訊記憶體,非常適合塞進端側裝置或給 TTS 即時提質。
ShowUI-Aloha 正式開源,這是一款通過人類示範學習的電腦操作智慧體。只需使用者錄屏演示一次訂票或改表格,系統就能提取語義軌跡並在相似任務中自主執行,在 OSWorld 評測中達到 60.1% 的成功率。程式碼遵循 MIT 協議。
開源影像編輯模型 VIBE 正式公佈,採用 2B 引數的 Qwen3-VL 搭配 1.6B 的 Sana 1.5。在 H100 上編輯 2K 影像約需 4 秒,蒸餾版本更壓至 2 秒以內。最值得關注的是,它用極小引數量實現了出色的原圖一致性保留。
UniSH 開源了統一前向 3D 重建框架。無需複雜的迭代最佳化,僅憑一段有鏡頭抖動或複雜動作的普通影片,單次推理就能同步還原出場景 3D 點雲、相機軌跡以及帶公制尺度的人體姿態。程式碼已在 GitHub 開源,支援本地部署執行。
騰訊開源文生 3D 動作模型 HY-Motion 1.0,基於 DiT 架構與 flow matching,引數量超 10 億。它涵蓋 6 大類逾 200 種動作,並採用預訓練到強化學習的完整流程最佳化物理真實感,生成的 3D 資產可直接接入動畫管線。
fal 推出 FLUX.2 [dev] Turbo 影像模型。藉助 DMD2 蒸餾技術,模型推理步數從 50 步驟減至 8 步,生成單張 1024 解析度圖片僅需 6.6 秒,成本約 0.008 美元。該模型權重已在 Hugging Face 開放,但遵循非商用許可,商用需走 fal 官方 API。
Liquid AI 釋出實驗模型 LFM2-2.6B-Exp。它基於 LFM2-2.6B 採用純強化學習訓練,在指令遵循、知識和數學基準上超越其他 3B 級別模型,其中 IFBench 得分超過了體積為其 263 倍的 DeepSeek R1-0528。模型已在 Hugging Face 開源。
阿里通義千問開源 Qwen-Image-Layered 影像拆解模型。它能把整張圖片直接拆解為帶透明通道的 RGBA 圖層,支援提示詞指定 3 到 10 層,甚至可在圖層裡套層無限細拆。設計師以後拿到 AI 圖片不用再費勁摳圖,直接就能分層編輯。