動画生成AIの「数を数えられない」問題を解決、オープンソースのNumina公開

動画生成AIに「2人の子どもと1匹の犬、1匹の猫」と指定しても、生成される映像には子どもが3人いたり、猫が消えていたりすることは珍しくありません。最新の商用モデルであるVO 3.1やGrok Imagineでさえ、プロンプトで指定された物体の正確な数を再現するのは苦手としています。

研究チームは動画拡散モデルのカウント精度を劇的に改善するフレームワーク「Numina」の論文とソースコードを公開しました。

再学習なしで「アテンション」を補正する

Numinaの最大の特徴は、モデル全体の再学習（ファインチューニング）を一切必要としない「training-free」な設計にあります。

このフレームワークは「特定して誘導する（identify-then-guide）」アプローチを採用しています。生成プロセスの初期段階で、識別力の高い自己注意機構（セルフアテンション）と交差注意機構（クロスアテンション）を特定し、潜在空間から数えられるレイアウト情報を抽出します。

もし提示されたプロンプトとレイアウト上の物体数に矛盾があれば、Numinaはそのレイアウトを調整し、クロスアテンションを変調させることで、正しい数になるよう再生成を誘導します。

研究チームが公開したベンチマーク「CountBench」のテストでは、オープンソースのWan2.1-1.3Bでカウント精度が最大7.4%向上しました。より大型の5Bモデルで4.9%、14Bモデルでも5.5%の改善が確認されており、動画の時間的一貫性やCLIPアライメントも維持されています。

オープンソースモデルにそのまま導入可能

Numinaは特定のモデル構造に依存しない「モデルアグノスティック」な仕組みです。そのため、既存のさまざまなオープンソースモデルへ組み込んで使うことができます。

現在はWan2.1やWan2.2へ適用するためのサンプルコードが公開されており、ローカル環境でダウンロードして実行するための手順がGitHubにまとめられています。

なぜ重要か

映像制作の現場において、被写体の数が狂うことは致命的な不具合になります。指定したキャラクターの数が合わないだけで、そのカット全体をリテイクしなければならないからです。

私たちは、この手法の価値は「追加学習のコストをかけずに推論時の介入だけで問題を緩和した点」にあると考えています。莫大な計算リソースを持たない個人クリエイターや中小規模のスタジオでも、手元の環境ですぐに試せる実用的なアプローチです。

最大7.4%の精度向上は確実な進歩ですが、複雑な動きや被写体の重なりがあるシーンではまだ完璧とは言えません。それでも、これまでガチャのように試行回数を重ねるしかなかった動画生成に、論理的で制御可能なレールを敷いた意義は大きいと言えます。