位元組預告音影片模型 Alive:聲畫同步一次生成,口型表情全打通
字節跳動公佈音影片統一生成模型 Alive。它能同時接收文本、參考圖與參考音訊,直接生成口型同步且表情自然的帶聲影片。評測顯示其綜合表現超越 Sora 與 LTX2,不過目前僅公開了論文,程式碼與線上 Demo 尚未開放。
字節跳動公佈音影片統一生成模型 Alive。它能同時接收文本、參考圖與參考音訊,直接生成口型同步且表情自然的帶聲影片。評測顯示其綜合表現超越 Sora 與 LTX2,不過目前僅公開了論文,程式碼與線上 Demo 尚未開放。
上週五,Autodesk 在舊金山聯邦法院起訴 Google,指控其 AI 影視製作軟體侵犯了「Flow」商標。Autodesk 稱自己早在 2022 年 9 月就已使用該名稱,而 Google 曾承諾不商業化卻轉頭在海外暗中搶注,試圖利用體量擠壓對手。
清華大學 Xmax AI 團隊推出即時互動影片模型 X1。它支援通過手機攝像頭捕捉手勢,無需手柄即可即時觸控並操控虛擬角色,具備毫秒級超低延遲和無限時長生成能力。目前團隊已開啟免費內測申請。
研究團隊公佈影片運動遷移技術 FastVMT。它能提取參考影片中的物體與鏡頭運動,僅憑提示詞就能遷移給奔跑的狼或船等全新主體,並通過消除計算冗餘提速 3.43 倍。這大幅降低了精細控制影片運動的門檻,不過目前專案僅公開了論文,程式碼暫未上線。
開源配音工具 Just Dub It 釋出。它基於 LTX-2 打造了輕量 LoRA 介面卡,能把影片翻譯成法語、德語等外語並同步生成匹配的唇部動作,同時保留原人臉特徵。程式碼、模型權重與訓練集已全部開源,支援消費級顯示卡部署。
研究人員提出 Skin Tokens 及統一框架 TokenRig,能自動為 3D 模型估計骨骼與蒙皮。它不僅支援人形,連鳥類、甲蟲、螃蟹等複雜生物也能處理,蒙皮精度最高提升 133%。這意味著 3D 生成到動畫製作之間的關鍵瓶頸正在被打破。
Kling AI 推出多模態創作模型 Kling 3.0。新模型支援生成 15 秒高逼真度可控多鏡頭影片,升級了支援多角色及多口音的原生音訊,並帶來 4K 影像輸出。目前新模型已在網頁端上線,僅限 Ultra 訂閱使用者搶先體驗。
OpenAI 公佈 Sora 動態流的設計理念。推薦系統優先展示能激發創作與互動的內容,支援使用者主動調整演算法偏好,並接入 ChatGPT 家長控制功能來關閉個性化或限制無限滾動。同時設定了多層安全審查過濾違規內容。
Kling 公佈運動控制技術 3D Move。它能將影片中人物的動作遷移給真人或動漫新角色,並首次做到在動作遷移的同時自由控制鏡頭運鏡與縮放,保持空間一致性與精細手勢。目前該成果僅釋出了研究論文,尚未明確是否開源或上線。
開源影片工具 Omnimat Zero 能夠精準擦除畫面中的物體,並同步清理水坑倒影與地面陰影。它還能應對複雜的遮擋關係,或把前景單獨提取為透明圖層供替換背景,目前程式碼與本地執行說明已在 GitHub 開源。
Adobe 宣佈為 Firefly 訂閱使用者開放無限次影像與影片生成。除了自家商用安全的 Firefly 模型,還直接引入了 Google Nano Banana Pro、GPT 與 Runway Gen-4 等第三方頂尖模型。3 月 16 日前加入指定計劃,即可無限生成最高 2K 解析度內容。
xAI 正式釋出 Grok Imagine 1.0,支援生成 10 秒 720p 影片並大幅提升音訊質量。官方透露,僅過去 30 天 Imagine 便生成了 12.45 億個影片。這意味著在大規模使用基礎上,xAI 正在進一步補齊畫質與時長的短板。
騰訊等團隊提出 InteractAvatar 框架,讓數字人不僅能說話,還能與周圍物體互動(如戴耳機、拿手機)。該框架支援連續指令與精確時間戳控制,解決了傳統數字人只能站樁口播的侷限。最值得關注的是,它讓虛擬人影片生成邁向了能與真實環境互動的新階段。
Pipio AI 等研究團隊推出影片編輯框架 EditYourself。它能直接修改影片中人物說話的內容,自動消除卡殼口吃,並無縫對齊口型且不留硬切痕跡。這意味著影片後期能像改文字一樣編輯臺詞,但也讓深度偽造更難分辨。
Invideo 聯手 Anthropic 推出 AI 動效生成工具。使用者輸入單條提示詞就能生成專業動態圖形,完全告別 After Effects、模板和程式碼。官方將其稱為動效設計界的「Vibe Coding」,試圖把專業動效成本打到零。
Google DeepMind 推出實驗原型 Project Genie,底層由世界模型 Genie 3 驅動。使用者輸入提示詞或上傳草圖,就能即時生成可操作移動、支援物理互動的虛擬環境。目前生成上限為 60 秒,僅向美國 Google AI Ultra 訂閱使用者開放。
據 The Verge 報道,YouTube 下架了多個頭部 AI 垃圾內容頻道,包括坐擁超 590 萬粉絲、12 億播放量的低質內容大號。官方確認因違規處理了 11 個頻道,正通過反垃圾機制遏制劣質 AI 生成內容的泛濫。
Apple 更新了 Mac 和 iPad 上的 Final Cut Pro 與 Logic Pro。影片剪輯新增自然語言視覺與對白搜尋,能直接用文字找出鏡頭裡的特定動作;音訊製作則加入 AI 合成器樂手,並支援用自然語言找 Loop。剪輯和找伴奏省去了漫長的人工翻找,體驗直觀不少。
OpenMOSS 開源影片生成模型 MOVA,可在單個模型內原生同步生成畫面與聲音。它採用 320 億引數的 MoE 架構,執行啟用 180 億引數,支援多語言對口型。程式碼和權重已上線 GitHub,不過 720p 版本約 77 GB,對視訊記憶體要求較高。
robbyant 開源基於 Wan2.2 的世界模擬器 LingBot-World。它支援用文本或圖片生成可互動環境,能以 16 FPS、低於 1 秒延遲輸出 480P 與 720P 畫面,並具備分鐘級場景一致的長記憶。程式碼與權重已公開,為互動生成與機器人學習提供了開源方案。