影片版 ControlNet:CogOmniControl 靠幾幀草圖精準控制影片生成
研究團隊公佈 CogOmniControl 論文,打造出類似 ControlNet 的多輸入影片控制系統。只需輸入 3 幀粗糙草圖或姿態骨架,搭配參考圖和提示詞,就能生成動作一致的影片。它專門面向專業創作流,不過目前僅釋出論文,尚未開原始碼與模型。
研究團隊公佈 CogOmniControl 論文,打造出類似 ControlNet 的多輸入影片控制系統。只需輸入 3 幀粗糙草圖或姿態骨架,搭配參考圖和提示詞,就能生成動作一致的影片。它專門面向專業創作流,不過目前僅釋出論文,尚未開原始碼與模型。
Odyssey 推出世界模型 Starchild-1 與 Agora-1。前者能根據使用者輸入即時生成音畫同步的內容且無固定時長,後者首次支援最多 4 名玩家在同一個由 AI 即時生成的虛擬世界中互動。這意味著世界模型正從離線影片生成轉向真正可互動的多人模擬引擎。
Meta 推出音訊模型 WavFlow,跳過潛空間壓縮,直接在原始波形中生成 44.1kHz 高保真音訊。它能為無聲影片自動配上同步音效,打鼓等動作基本能對齊。不過受政策限制,官方僅開源了程式碼與指令碼,未放出完整權重。
字節跳動開源統一多模態模型 Lance,啟用引數 30 億,同時支援影像與影片的理解、生成及編輯。最關鍵的是,它不僅能看懂畫面,還能通過多輪對話連續修改影片。不過本地執行門檻較高,至少需要一塊 40GB 視訊記憶體的 GPU。
研究團隊釋出端到端音影片聯合編輯框架 InstructAV2AV,支援用自然語言指令同時修改畫面與聲音。它無需手動繪製遮罩即可完成換人、改臺詞或增刪音效,並在替換目標內容的同時保持背景穩定。
創作者分享了一套 AI 影視工作流:先用 ChatGPT Image 2 將故事創意生成帶角色和鏡頭標註的 12 格故事板,再交給 Seedance 2.0 生成連貫的電影感影片。配合節點式平臺編排,一人做動畫的門檻進一步降低。
阿里巴巴公佈影片試衣框架 FashionChameleon。它允許在影片生成過程中即時互動式更換服裝,單卡生成速度達 23.8 FPS,並能保持人物動作與外觀連貫。最值得關注的是它僅靠單服裝資料訓練就實現了多套換裝。目前程式碼與模型尚未正式開放。
上海交通大學與上海人工智慧實驗室等提出 Warp-as-History。該方法無需新增相機編碼器或控制分支,而是把視角形變打包成視覺歷史上下文,僅用一個標註影片進行輕量 LoRA 微調,就能在陌生場景中精準聽從運鏡軌跡並補全畫面盲區。
輝達釋出互動式世界模型 SANA-WM,僅 26 億引數即可將單張影像轉化為可鍵盤漫遊的 720p 影片。其蒸餾版本在單張 RTX 5090 上僅需 34 秒即可生成 1 分鐘片段。官方表示權重即將開源。
研究團隊開源遊戲世界模型 ReactiveGWM。它將玩家按鍵操作與 NPC 策略解耦,允許玩家一邊按鍵出招,一邊用提示詞指揮對手進攻或防守。模型基於 Wan 2.2 構建且相對輕量,可在本地中高階顯示卡上執行。
訊息,由達倫·阿羅諾夫斯基監製、達斯汀·耶林執導的真人與 AI 融合電影宣佈將於下週在戛納電影節首映。影片由保羅·路德與克里斯·洛克主演,將真人拍攝與 AI 生成畫面混合呈現。好萊塢一線陣容的加入,意味著 AI 影像正加速叩開主流電影圈的大門。
開發者在 Hugging Face 上線適配 LTX-Video 的皮克斯風格 LoRA。該模型未採用影視原作版權素材,能賦予畫面大眼睛與電影級光影等 3D 動畫質感。模型支援觸發詞「P1x4r」,可在 Diffusers 或 Draw Things 中直接載入執行。
研究團隊釋出並開源 PhyMotion,專門解決 AI 影片裡的肢體畸形與動作扭曲。它從生成影片中提取 3D 人體並放入 MuJoCo 物理模擬器打分,檢驗關節移動和接地是否合乎規律,以此獎勵模型,顯著改善了瑜伽、功夫等動作的真實度。
Google 全新多模態模型 Gemini Omni 曝光。它能結合影像、音訊與文本等多模態輸入生成連貫影片,並支援用自然語言對話直接修改畫面。最關鍵的是,它將邏輯推理與畫面渲染結合,首發版本 Omni Flash 可生成 10 秒短影片。
研究團隊提出影片重打光框架 Relit-LiVE,無需相機姿態資料,就能在一個擴散過程中聯合預測重打光畫面與逐幀環境貼圖。它在長鏡頭中能保持陰影與反射的物理真實,還支援去光照與材質替換等編輯任務。
ElevenLabs 宣佈在其 ElevenCreative 平臺的 Studio 時間軸編輯器中內建 AI 協同編輯助手 Studio Agent。創作者無需離開平臺,即可通過 AI 協作混合配音、音樂、音效與影片,進一步簡化多媒體制作流程。
LTX Studio 推出節點畫布功能 Flows。使用者可以通過視覺化節點介面設計自定義視覺生成管線,搭建一次即可按需批次執行。最值得關注的是,該功能專為規模化影像與影片生成打造,讓創作者無需每次重新構建流程,大幅降低重複配置成本。
研究團隊提出高解析度圖生影片框架 SwiftI2V。它先生成低解析度運動參考,再通過條件分段生成精細的 2K 畫面,最多輸出 81 幀。這意味著 2K 影片生成不再依賴叢集,單張 24GB 的 RTX 4090 就能跑,計算時間縮減了 202 倍。
初創公司 Video Rebirth 推出 AI 影片引擎 Bach 1.0。它支援生成最長 30 秒的原生 1080p 影片並自帶聲音,主打多鏡頭角色一致性與鏡頭語言控制,在 Artificial Analysis 盲測榜位列第六。目前官網已開放註冊免費試用。
開源工具 Sprite-Pipeline 能將 AI 影片轉為遊戲可用的 2D 精靈圖。它通過 FFmpeg 抽幀、摳圖去背景,並拼成 256×256 的透明橫向序列幀,可直接匯入 Unity 或 Godot。專案還附帶瀏覽器預覽器與 AI 提示詞規範,幫獨立開發者低成本落地角色動畫。