開源免訓練框架 Numina:讓 AI 影片學會數數,精準控制物體數量
研究人員開源免訓練框架 Numina,解決 AI 影片生成頻繁數錯物體數量的缺陷。它無需重新訓練,通過分析注意力頭找出佈局偏差並重新引導生成,在 Wan2.1 上將計數準確率最高提升 7.4%,可直接接入主流開源模型。

讓 AI 影片模型生成一段畫面已經不算新鮮事,但如果你在提示詞裡明確寫上「兩個孩子、一隻狗、一隻貓」,最後大機率還是會看到三個小孩甚至憑空多出一群寵物。
算不清數、分不清個頭,是眼下所有影片擴散模型的通病。
研究人員正式開源了免訓練框架 Numina,並公佈了相關論文與完整程式碼。它的核心任務非常明確:不碰底層權重,教現有的開源影片模型學會老老實實地「數數」。
甚至不用重訓模型
數錯物體數量這件事,不只是舊模型的問題。材料提到,即便是最頂尖的商業模型如 VO 3.1 和 Grok Imagine,面對指定數量的提示詞時也常常翻車。比如生成三隻山羊時,畫面裡可能突然冒出四個騎車的人。
以往要解決這種對齊問題,通常要麼重新訓練整個擴散模型,要麼做耗時耗力的人工微調,成本極高。
Numina 聰明的地方在於它是「免訓練」(training-free)的。它採用了一套「先識別再引導」(identify-then-guide)的機制。
具體來說,系統在生成早期會篩選出具有辨別力的自注意力和交叉注意力頭,從中提煉出一張可計數的潛空間佈局。
一旦發現佈局裡的物體數量和提示詞對不上,Numina 就會保守地修正這個佈局,並調整交叉注意力權重,直接引導模型重新生成正確的畫面。
在研究團隊推出的 CountBench 基準測試中,Numina 在 Wan2.1-1.3B 模型上將計數準確率最高提升了 7.4%,在 5B 和 14B 版本上也分別提升了 4.9% 和 5.5%,同時改善了 CLIP 對齊度,還沒犧牲畫面前後的時間連貫性。
怎麼把它跑起來
因為它是模型無關(model-agnostic)的架構,並不繫結某一家演算法。
目前該專案已經給出了接入主流開源影片模型的完整程式碼,包括 Wan2.1 和 Wan2.2 的適配示例。研究團隊在 GitHub 上放出了在本地電腦上安裝、下載權重和執行推理的詳細說明。
對於開發者而言,只要本地跑得起原本的開源擴散模型,就可以直接掛載這套引導模組,不用自己額外準備資料集去煉丹。
為什麼重要
這套框架給影片生成的商業落地補上了一塊關鍵短板。
過去很多商業廣告、故事分鏡對角色和道具數量有著硬性要求,AI 哪怕多畫一隻貓或者少畫一個人,整條成片就得直接作廢。抽卡找種子的方式極其浪費算力,而 Numina 證明了通過注意力機制的輕量介入,就能把生成結果框死在指定的結構範圍內。
我們認為,這項研究最聰明的地方在於它沒有盲目追求「端到端」重新訓練,而是把注意力引導做成了外掛式的即插即用外掛。這不僅大幅降低了獨立開發者和中小創作者的部署門檻,也給整個開源影片社群指了一條價效比極高的技術路線。
不過,4.9% 到 7.4% 的準確率提升雖然顯著,但並不意味著它能做到百分之百全對。在複雜動態遮擋、快速運動的多主體場景下,潛空間佈局的捕捉依然存在誤差。但這無疑讓原本只能靠運氣的影片生成,終於邁出了可控的一大步。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org