Motion4Motion 突破骨骼限制:連狐狸的動作都能遷給長頸鹿
研究人員提出免訓練動作遷移框架 Motion4Motion。它跳過傳統的骨骼繫結與 ControlNet,通過追蹤密集畫素動作流並匹配目標角色,在推理階段直接生成新動作。最值得關注的是,即便狐狸與長頸鹿這樣身體比例迥異的跨物種角色,也能自然遷移動作。
研究人員提出免訓練動作遷移框架 Motion4Motion。它跳過傳統的骨骼繫結與 ControlNet,通過追蹤密集畫素動作流並匹配目標角色,在推理階段直接生成新動作。最值得關注的是,即便狐狸與長頸鹿這樣身體比例迥異的跨物種角色,也能自然遷移動作。
阿里巴巴開源角色動畫模型 Wan-Animate-2,使用者只需輸入一張角色圖片和一段參考影片,就能將動作、微表情和手指細節遷移到目標角色上,連非人角色和雙人場景也能支援。模型基於 Diffusion Transformer 實現端到端生成並支援視角控制,程式碼與權重均已開放。
影片轉寫與粗剪工具 BaoCut 釋出,支援接入 Claude Code 或 Codex,用自然語言一條命令完成口播影片的轉寫、清理語氣詞、字幕翻譯與粗剪。它自帶可編輯時間軸,改動單句無需整段重渲。最值得關注的是它把逐句對字幕的機械活全交給了 Agent,專解口播博主的痛點。
ChatCut 推出桌面端並支援通過本地 MCP 協議接入 Codex、Claude Code 等 Agent。智慧體可直接讀取專案並呼叫影片復刻與剪輯能力,在保留鏡頭節奏的同時替換人物或場景。目前支援 macOS 與 Windows,Linux 暫不可用。
Google 在 Google 相簿中上線 Video Remix 功能,依託 Gemini Omni 模型,讓使用者通過簡易模板快速生成風格化影片。它支援電影級重新打光、更換背景以及水彩、油畫等藝術特效。目前先面向部分國家的 Google AI 訂閱使用者推送。
螞蟻旗下 Robbyant 開源世界模型 LingBot-World 2.0。它採用因果預訓練實現長時互動且畫質無明顯衰減,蒸餾版本能以 720p 60fps 即時執行,還引入雙 Agent 協同生成動作與環境。目前已開源 1.3B 和 14B 權重。
高通研究團隊釋出 Mobile-Wan,把阿里 50 億引數的 Wan 影片生成模型搬到手機本地執行。通過分塊生成、剪枝和 3 步取樣蒸餾,手機無需聯網即可在約 20 秒內生成 5 秒 480p 影片,模型權重僅 9.9GB。
上個月,字節跳動在北京披露了影片生成模型 Seedance 2.5,傳最快將於 7 月 9 日上線。新模型單條提示詞即可生成 30 秒 4K 影片,並支援多達 50 個參考影像、影片或音訊,相比前代的 12 個大幅提升了畫面可控性。目前官方落地頁已在 Dreamina 上線。
研究團隊釋出互動式多人世界模型 MIRA,完全不依賴物理或渲染引擎,僅靠 50 億引數的擴散模型生成畫面。它由 1 萬小時對戰資料訓練而成,單張 B200 即可支援四人 2v2 即時操作與聯機,相關資料集和程式碼已開源。
研究團隊釋出 Wan-Streamer v0.2,將端到端音影片互動模型的解析度從 192x336 提升至 640x368,同時保持 25 FPS 下約 200 毫秒的模型延遲。它通過單卡感知加多卡並行的架構,讓中景虛擬形象的手勢和周圍環境在即時對話中保持清晰。
Runway 宣佈在其影片平臺接入 Google Gemini Omni Flash 模型。該模型支援通過文本、影像及現有影片片段進行生成與編輯。使用者不僅能直接在介面中選用,還可通過內建 Agent 直接呼叫 Omni 進行創作。
Meta 推出 3D 人體動畫模型 LUNA。它徹底繞開了傳統的骨骼繫結與人體擬合,只需幾張靜態照片,就能靠動作影片、關鍵點甚至手繪草圖直接驅動 3D 高斯形變。製作逼真 3D 人物動畫不必再忍受衣物變形與肢體僵硬。
Netflix 將於 9 月 23 日上線旺卡真人秀《Wonka’s The Golden Ticket》,預告片中採用了 AI 生成的已故影星 Gene Wilder 的聲音擔任旁白。該音訊由 AI 語音公司 ElevenLabs 製作,並已獲得 Wilder 家屬授權。這也是流媒體平臺再度嘗試合規復現逝世名人聲音。
Google NotebookLM 上線「短影片概覽」功能。該功能能把複雜的原始檔直接轉成 60 秒豎屏影片,深入提煉核心概念。目前已面向移動端和網頁端的 Google AI Ultra 與 Pro 訂閱使用者推送,免費使用者隨後也將獲得支援。
Google 面向開發者推出 Nano Banana 2 Lite 與 Gemini Omni Flash 兩款生成模型。前者 4 秒即可出圖,生成 1000 張圖僅需 0.034 美元;後者支援通過自然語言對話編輯影片,每秒影片定價 0.10 美元。目前兩款模型已上線 Google AI Studio 和 Gemini API。
研究團隊開源無需額外訓練的 4D 場景重建系統 OVOW,能把單段普通影片拆解為帶動畫、可直接做物理模擬的獨立 3D 資產。它串聯 Qwen3-VL 與 SAM 3 等模型完成識別與姿態估計,匯出完整場景。程式碼現已公開,受元件協議限制僅限非商業研究,且需 40GB 視訊記憶體。
ComfyUI 開啟 Comfy MCP 公開測試,讓 Claude 等 AI 智慧體能直接接入 ComfyUI。使用者用自然語言即可讓智慧體自主搜尋模型、搭建並執行影像與影片工作流,免去手動連線和配節點。目前處於公測階段,支援免費接入試用。
研究團隊公佈 ViDiHand,利用預訓練影片擴散模型從影片中精確重建 3D 雙手動作。它無需額外的手部檢測器,即使手指嚴重互遮或部分出畫也能穩定還原,為人形機器人和具身智慧訓練提供了高精度的互動資料。
這週,騰訊研究人員公佈 SCoPE 運鏡控制技術。它把相機光線作為 token 的第二個座標,僅用不到 0.1% 的新增引數,就能讓影片模型嚴格遵循指定軌跡運鏡,轉頭再看也不會漂移,在 5B 和 14B 模型上均已驗證有效。
阿里巴巴公佈端到端互動模型 Wan Streamer,讓 AI 在視訊通話中即時看、聽並同步回應。它用單一 Transformer 統一處理音影片和文本,支援全雙工通訊,模型端延遲約 200 毫秒。目前 v0.1 仍為 192p 概念驗證,未開放即時體驗。