视频版 ControlNet：CogOmniControl 靠几帧草图精准控制视频生成

做动画或影视分镜的人都知道，草稿通常潦草得只有几根线条和火柴人。但在现有的 AI 视频模型面前，这种粗糙草图几乎毫无用处，模型要么视而不见，要么把画面直接带偏。

研究团队发布了一篇名为 CogOmniControl 的论文。它把静态图像生成领域大名鼎鼎的 ControlNet 理念搬到了视频领域，让模型能准确看懂创作者随手画出的草图意图。

只要 3 帧草稿，AI 就能脑补成片

传统的视频生成工具往往依赖详尽的文字描述，或者是已经精修好的首尾帧。一旦遇到抽象、稀疏的分镜草图，生成结果往往完全失控。

CogOmniControl 最大的特点就是不挑食。在展示案例中，创作者只需要扔给它一个仅有 3 帧运动画面的粗糙草图动画，配上一张角色参考图片和一句文本提示词，系统就能输出一段动作完全吻合的连贯视频。

除了草图，它还支持姿态骨架动画和线稿输入。比如给一段人物动作骨架，搭配一张角色定妆照，再加上「站在建筑前、四周环绕茂密树木」的提示词，模型就能同时兼顾骨架动作、角色外貌和环境背景，而不会顾此失彼。

让 VLM 先看懂意图，再交给扩散模型画图

能看懂潦草草图的秘密，在于团队把视频控制拆成了两步：先理解创作意图，再去生成画面。

以往的做法要么强行插一个控制适配器，要么塞进通用的图生文模型，但通用模型根本看不懂专业分镜的行话。团队专门用真实的动画制作数据训练了一个 CogVLM，专门负责把粗糙、抽象的条件翻译成密集的推理信息。

接下来，CogOmniDiT 扩散模型通过上下文生成来统一各种控制条件，并利用强化学习与 CogVLM 的推理结果对齐。系统甚至还引入了基于多方案筛选的 Best-of-N 机制，让 CogVLM 担任评估裁判，形成一套完整的闭环架构。

研究团队为此建立了两套基于专业制作管线的数据基准 CogReasonBench 和 CogControlBench。测试结果显示，这套方案的效果超过了现有的开源模型。不过需要说明的是，项目目前仅公开了技术论文，代码和模型权重尚未开放下载。

为什么重要

我们认为 CogOmniControl 走对了专业视频生成最关键的一步：尊重真实的工业流程。

普通用户可能习惯用一段文字抽卡，但真正的动画与影视团队不可能接受纯随机的结果。他们每天都在和分镜草图、白模渲染打交道。如果 AI 能直接吃下 3 帧火柴人草图并精准还原动态，前期分镜到样片制作的成本将被直接压低几个数量级。

在技术思路上，把推理理解和扩散生成解耦的做法相当聪明。让擅长逻辑的大模型充当导演助理来拆解草图意图，比单纯加大扩散模型参数要管用得多。

不过它的局限也很明显。目前公开的成果大量依赖动画管线数据训练，对于真人写实、复杂镜头运镜的泛化能力还有待验证。在代码和模型真正开源跑在本地显卡之前，它距离进入专业制作团队的工作流依然还有一段距离。