影片版 ControlNet：CogOmniControl 靠幾幀草圖精準控制影片生成

做動畫或影視分鏡的人都知道，草稿通常潦草得只有幾根線條和火柴人。但在現有的 AI 影片模型面前，這種粗糙草圖幾乎毫無用處，模型要麼視而不見，要麼把畫面直接帶偏。

研究團隊釋出了一篇名為 CogOmniControl 的論文。它把靜態影像生成領域大名鼎鼎的 ControlNet 理念搬到了影片領域，讓模型能準確看懂創作者隨手畫出的草圖意圖。

只要 3 幀草稿，AI 就能腦補成片

傳統的影片生成工具往往依賴詳盡的文字描述，或者是已經精修好的首尾幀。一旦遇到抽象、稀疏的分鏡草圖，生成結果往往完全失控。

CogOmniControl 最大的特點就是不挑食。在展示案例中，創作者只需要扔給它一個僅有 3 幀運動畫面的粗糙草圖動畫，配上一張角色參考圖片和一句文本提示詞，系統就能輸出一段動作完全吻合的連貫影片。

除了草圖，它還支援姿態骨架動畫和線稿輸入。比如給一段人物動作骨架，搭配一張角色定妝照，再加上「站在建築前、四周環繞茂密樹木」的提示詞，模型就能同時兼顧骨架動作、角色外貌和環境背景，而不會顧此失彼。

讓 VLM 先看懂意圖，再交給擴散模型畫圖

能看懂潦草草圖的秘密，在於團隊把影片控制拆成了兩步：先理解創作意圖，再去生成畫面。

以往的做法要麼強行插一個控制介面卡，要麼塞進通用的圖生文模型，但通用模型根本看不懂專業分鏡的行話。團隊專門用真實的動畫製作資料訓練了一個 CogVLM，專門負責把粗糙、抽象的條件翻譯成密集的推理資訊。

接下來，CogOmniDiT 擴散模型通過上下文生成來統一各種控制條件，並利用強化學習與 CogVLM 的推理結果對齊。系統甚至還引入了基於多方案篩選的 Best-of-N 機制，讓 CogVLM 擔任評估裁判，形成一套完整的閉環架構。

研究團隊為此建立了兩套基於專業製作管線的資料基準 CogReasonBench 和 CogControlBench。測試結果顯示，這套方案的效果超過了現有的開源模型。不過需要說明的是，專案目前僅公開了技術論文，程式碼和模型權重尚未開放下載。

為什麼重要

我們認為 CogOmniControl 走對了專業影片生成最關鍵的一步：尊重真實的工業流程。

普通使用者可能習慣用一段文字抽卡，但真正的動畫與影視團隊不可能接受純隨機的結果。他們每天都在和分鏡草圖、白模渲染打交道。如果 AI 能直接吃下 3 幀火柴人草圖並精準還原動態，前期分鏡到樣片製作的成本將被直接壓低幾個數量級。

在技術思路上，把推理理解和擴散生成解耦的做法相當聰明。讓擅長邏輯的大模型充當導演助理來拆解草圖意圖，比單純加大擴散模型引數要管用得多。

不過它的侷限也很明顯。目前公開的成果大量依賴動畫管線資料訓練，對於真人寫實、複雜鏡頭運鏡的泛化能力還有待驗證。在程式碼和模型真正開源跑在本地顯示卡之前，它距離進入專業製作團隊的工作流依然還有一段距離。