xAI 推出 Grok Imagine API:原生生成音影片,主打低延遲與價效比
xAI 正式推出 Grok Imagine API,支援文本及影像生成原生帶音訊的影片序列。模型兼顧畫質與生成速度,支援區域性擦除、角色動畫和場景風格變換。最值得關注的是,xAI 試圖通過壓低延遲與成本,讓創作者能夠低門檻並行試驗多種方案。
xAI 正式推出 Grok Imagine API,支援文本及影像生成原生帶音訊的影片序列。模型兼顧畫質與生成速度,支援區域性擦除、角色動畫和場景風格變換。最值得關注的是,xAI 試圖通過壓低延遲與成本,讓創作者能夠低門檻並行試驗多種方案。
研究團隊釋出風格遷移模型 TeleStyle,支援通過參考圖或文本為影像和影片賦予特定畫風。該模型基於 Qwen-Image-Edit 構建,藉助課程持續學習與專用的影片模組,在套用新風格時仍能保證畫面內容和幀間連貫性。目前程式碼與預訓練模型已開源。
騰訊推出端到端影片生成框架 ScriptAgent,專門把粗略對話轉為電影級長鏡頭影片。它由編劇、導演和評審三個智慧體分工協作,細化劇本並排程 Sora2-Pro 等主流模型完成跨場景連續生成。測試顯示其劇本忠實度最高提升 0.4 分,團隊還同步推出了評測基準 ScriptBench。
Google DeepMind 聯合前皮克斯動畫師製作的短片在聖丹斯電影節展出。團隊棄用單純文字生成,改用草圖與粗剪驅動 Veo 和 Imagen,實現區域性重繪與風格微調。最值得關注的是,這套工作流證明了專業動畫不必向 AI 的隨機性妥協。
Luma AI 釋出影片模型 Ray3.14。新版本支援原生 1080p 輸出,生成速度提升至 4 倍,每秒計費僅為此前三分之一,並改善了運鏡和光影穩定性。這意味著創作者無需依賴後期超分即可直接出片,大幅降低了影視與廣告的試錯成本。
Runway 為 Gen-4.5 推出影像轉影片功能。官方表示在一項測試實驗中,僅有 10% 的人能分辨出生成影片的真偽。目前該模型位居 Artificial Analysis 榜首,Runway 稱這種逼真度標誌著 AI 媒體迎來了社會「臨界點」。
YouTube 宣佈今年將允許創作者使用自己的 AI 形象生成 Shorts 短影片,還能靠文本提示做小遊戲。平臺還將同步配套肖像管理工具,防範未經授權的盜用與低質 AI 內容。目前該功能尚未正式上線。
研究人員推出影片摳像模型 VideoMaMa,利用預訓練影片擴散模型的生成先驗,直接將粗糙的分割掩碼轉化為髮絲級精確的摳像。團隊還基於此構建了含超 5 萬條真實影片的資料集 MA-V 並訓練出 SAM2-Matte。所有模型與資料均將公開發布。
研究團隊開源 4D 動態生成模型 Motion 3-to-4。它能從單視角影片中直接重建高保真 4D 動態物體,把任務拆解為靜態 3D 形狀與逐幀頂點運動軌跡預測,還能將提取出的角色動作遷移到其他影片中。
OmniTransfer 推出基於 Wan 2.1 的影片遷移框架,將視覺特效、動作驅動、運鏡控制以及角色 ID 和風格遷移統一在單個架構中。最值得關注的是,它無需手動提取骨架或估計相機軌跡,就能直接把參考影片裡的動態與質感遷移到新畫面。
Lightricks 推出音訊轉影片功能,允許使用者輸入語音、音樂或音效生成對應影片。模型能理解節奏與節拍,實現畫面與聲音精準卡點,可用來製作音樂影片、素材和數字人。這意味著聲音也能直接充當畫面的分鏡指令碼。
Adobe 為 Premiere 推出端側 AI 物體遮罩工具,滑鼠懸停點選即可精確跟蹤複雜移動目標。重構後的形狀遮罩跟蹤提速最高達 20 倍,同時支援無縫匯入 Firefly Boards 資產。After Effects 26.0 也同步迎來原生 3D 等更新。
Overworld 開源即時互動式影片模型 Waypoint-1 及推理庫 WorldEngine,支援通過鍵鼠即時操控畫面。該模型基於上萬小時遊戲影片訓練,在 RTX 5090 上最高可達 60 FPS 且近乎零延遲。不過目前畫面一致性較弱且存在幻覺,已開放 2.3B 小型版本下載。
Remotion 官方 Agent Skills 支援通過自然語言讓 Claude Code 等程式設計智慧體全自動編寫元件、3D 動畫並直接渲染成影片。開發者無需開啟 AE 或 PR,僅靠提示詞就能快速生成功能演示與營銷短片。
研究團隊開源多主體動畫模型 CoDance,解決了角色與驅動姿態錯位就無法動起來的難題。它先解綁動作與空間位置,再通過文本和遮罩把動作精準指派給目標角色,無論畫面裡有幾個人、什麼畫風都能生成協調動畫。目前程式碼與權重已全部開源。
研究團隊推出互動式數字人模型 FlowAct-R1,支援流式生成無限時長的數字人影片。它採用自迴歸架構與記憶機制,實現 25fps 的 480p 即時生成,首幀延遲約 1.5 秒且動作自然。這意味著低延遲數字人直播和即時互動邁出了關鍵一步。
哥倫比亞大學團隊研發出一款帶 26 個微型電機的矽膠機器人臉,通過看人類影片自主學會對口型,無需預設規則。它跨 11 種語言的表現超過 5 種現有方法,搭配 ChatGPT 能大幅減少傳統人型機器人的僵硬與詭異感。
Google 升級影片模型 Veo 3.1,為圖片生影片功能加入原生 9:16 豎屏與最高 4K 畫質。新版大幅提升角色和背景跨鏡頭的一致性,換場景也不崩臉,創作者免裁切就能直出短劇,現已上線 Gemini 與 YouTube Create。
PixVerse 釋出即時世界模型 PixVerse R1,能以流式生成連續 1080P 影片,使用者中途隨時輸入提示詞即可即時改變畫面。雖然目前一致性較弱、物體易變形,但它讓 AI 影片從等渲染的切片變成了可即時干預的模擬世界。
研究團隊公佈 3D 動畫框架 RigMo 論文。它能直接從模型序列中推斷骨架與動作,無需人工標註骨骼,除了人形和鳥獸外,連風扇等物體也能準確繫結。相比 Uni-Rig 更穩且不易綁歪。目前程式碼與資料即將開源。