SCAIL-2公開：複数キャラの激しい格闘や動物への動作移植に対応した動画AI

SCAIL-2は、ZAIがオープンソースで公開した動画動作移植・キャラクターアニメーションモデルです。参照動画の動きを別のキャラクターへ直接転写でき、骨格推定などの仲介処理を一切挟まないエンドツーエンド設計が特徴です。

これにより、従来のポーズ抽出ツールで頻発していた認識ズレや手足の崩れ、不自然な硬さを気にすることなく、ピクセルからピクセルへ直接モーションを反映できます。

何ができるのか

最大の特徴は、複数キャラクターの激しいアクションに対応できる点です。2人の人物が激しく取っ組み合って戦う複雑なシーンでも、SCAIL-2は双方の動きと位置関係を破綻なく捉え、別のキャラ同士の格闘シーンへと高精度に移植します。

人間以外の動物への動作転送にも対応しています。例えば、女性が踊る動画の動きをフラミンゴに移植し、鳥の骨格に合わせた自然なモーションとして再現することが可能です。

極端に体型の崩れたカートゥーンや太ったモンスターの画像を与えても、自動的に身体構造を解釈して動かします。さらに、キャラクターの置換モードではカメラワークの動きまでそのまま維持されるため、既存の商用動画AIを上回る追従性を見せます。出力解像度は512pおよび704pに対応しています。

実現の仕組み

従来のツールは骨格マップなどの「中間表現」に頼っていたため、人物が重なり合ったり動物を動かそうとしたりすると骨格検出が失敗していました。

SCAIL-2はこの中間ポーズ表現を全廃しました。開発チームは6万組のモーションペアデータを生成し、2種類のマスクチャンネルと専用のRoPE位置符号化を備えた統合インターフェースを設計。さらにBias-Aware DPOという調整機構を導入して細部の破綻を抑制しています。

マスクの色分けによって背景領域とキャラクターの対応関係をモデルへ直接指示するため、複数アングルからの画像参照によるゼロショット生成もこなします。

動かし方とハードウェア要件

プロジェクトのソースコード、推論スクリプト、ComfyUIノード、トレーニングコードはすべてGitHubで公開されています。

ただし、ローカル環境で動かすハードルはかなり高めです。Hugging FaceのリポジトリにはWan VAEやT5モジュールが同梱されており、合計サイズは約81GBに達します。

一般的なコンシューマー向けGPUで動かすにはVRAMの負担が大きすぎるため、個人の制作環境ではコミュニティによる量子化版やGGUF版の登場を待つのが現実的です。

なぜ重要か

CGアニメーターやインディーゲーム開発者にとって、モーションリターゲティングの手間を一気に省ける点が非常に魅力的です。特に人間から人外キャラへの動作移植は従来手作業での修正が必須でしたが、オープンソースのAIだけで実用的な下地が作れるようになりました。

閉源の商用サービスに迫るカメラ追従性と安定性を備えたモデルが、学習コードまで含めて完全公開された意義は大きいです。軽量化が進んでローカルで軽快に回せるようになれば、オープン動画制作の標準ツールとして定着するはずです。