开源免训练框架 Numina:让 AI 视频学会数数,精准控制物体数量
研究人员开源免训练框架 Numina,解决 AI 视频生成频繁数错物体数量的缺陷。它无需重新训练,通过分析注意力头找出布局偏差并重新引导生成,在 Wan2.1 上将计数准确率最高提升 7.4%,可直接接入主流开源模型。

让 AI 视频模型生成一段画面已经不算新鲜事,但如果你在提示词里明确写上「两个孩子、一只狗、一只猫」,最后大概率还是会看到三个小孩甚至凭空多出一群宠物。
算不清数、分不清个头,是眼下所有视频扩散模型的通病。
研究人员正式开源了免训练框架 Numina,并公布了相关论文与完整代码。它的核心任务非常明确:不碰底层权重,教现有的开源视频模型学会老老实实地「数数」。
甚至不用重训模型
数错物体数量这件事,不只是旧模型的问题。材料提到,即便是最顶尖的商业模型如 VO 3.1 和 Grok Imagine,面对指定数量的提示词时也常常翻车。比如生成三只山羊时,画面里可能突然冒出四个骑车的人。
以往要解决这种对齐问题,通常要么重新训练整个扩散模型,要么做耗时耗力的人工微调,成本极高。
Numina 聪明的地方在于它是「免训练」(training-free)的。它采用了一套「先识别再引导」(identify-then-guide)的机制。
具体来说,系统在生成早期会筛选出具有辨别力的自注意力和交叉注意力头,从中提炼出一张可计数的潜空间布局。
一旦发现布局里的物体数量和提示词对不上,Numina 就会保守地修正这个布局,并调整交叉注意力权重,直接引导模型重新生成正确的画面。
在研究团队推出的 CountBench 基准测试中,Numina 在 Wan2.1-1.3B 模型上将计数准确率最高提升了 7.4%,在 5B 和 14B 版本上也分别提升了 4.9% 和 5.5%,同时改善了 CLIP 对齐度,还没牺牲画面前后的时间连贯性。
怎么把它跑起来
因为它是模型无关(model-agnostic)的架构,并不绑定某一家算法。
目前该项目已经给出了接入主流开源视频模型的完整代码,包括 Wan2.1 和 Wan2.2 的适配示例。研究团队在 GitHub 上放出了在本地电脑上安装、下载权重和运行推理的详细说明。
对于开发者而言,只要本地跑得起原本的开源扩散模型,就可以直接挂载这套引导模块,不用自己额外准备数据集去炼丹。
为什么重要
这套框架给视频生成的商业落地补上了一块关键短板。
过去很多商业广告、故事分镜对角色和道具数量有着硬性要求,AI 哪怕多画一只猫或者少画一个人,整条成片就得直接作废。抽卡找种子的方式极其浪费算力,而 Numina 证明了通过注意力机制的轻量介入,就能把生成结果框死在指定的结构范围内。
我们认为,这项研究最聪明的地方在于它没有盲目追求「端到端」重新训练,而是把注意力引导做成了外挂式的即插即用插件。这不仅大幅降低了独立开发者和中小创作者的部署门槛,也给整个开源视频社区指了一条性价比极高的技术路线。
不过,4.9% 到 7.4% 的准确率提升虽然显著,但并不意味着它能做到百分之百全对。在复杂动态遮挡、快速运动的多主体场景下,潜空间布局的捕捉依然存在误差。但这无疑让原本只能靠运气的视频生成,终于迈出了可控的一大步。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org