Viggle、動画の1フレームを描き換えるだけで全編キャラ置換できる「Viggle-Animate」をオープンソース公開

Viggle-Animateは、動画の1フレームを描き換えるだけで、全編のキャラクターをまるごと差し替えられるオープンソースの動画生成モデルです。

使い方は明快です。元となる動画から1フレームを書き出し、画像生成ツールやフォトレタッチソフトを使って差し替えたい新キャラクターに描き換えます。あとはその画像と元動画をモデルに入力するだけで、元のアクション、カメラワーク、タイミングをそのまま新キャラへ反映してくれます。

骨格推定もマスクも不要、激しい動きでもブレない

従来のキャラ置換ツールは、ポーズ骨格の抽出、人物マスクの切り抜き、顔トラッキングといった何重もの前処理モデルを組み合わせるのが一般的でした。工程が増えるほどエラーも重なり、破綻の原因になります。

Viggle-Animateはそれらをすべて排除しました。動画生成パイプラインの中にポーズ推定器もセグメンテーションもテキストエンコーダーも存在しません。

差し替える画像自体が動画のワンシーンそのものなので、ポーズや画角、ライティングが最初から完全に一致しています。そのため急激な振り向きや飛び蹴りといった、従来のモデルが破綻して輪郭が溶けがちだった激しいアクションでも、輪郭を保ったままシャープに追従します。

また、人型の骨格構造に縛られないため汎用性も抜群です。動物やクレイアニメ風のキャラ、ロボット、さらには飛行機のような非人型オブジェクトを人間の動きに合わせて動かすことすら可能です。

3ステップ蒸留で、単一GPUによる26秒レンダリングを実現

モデルのベースは、オープンソース動画モデル「MiniMax-H3」のref2vaトランスフォーマーです。33.1Bパラメータの全レイヤーをファインチューニングした上で、DMD蒸留によりわずか3回のフォワードパスで推論を完了させます。

B200 GPU1基の環境で124フレーム（480×832、24fps、約5.2秒）をレンダリングしたところ、わずか26秒で処理が完了しました。40パスを要するWan2.2-Animate-14Bの160秒と比べ、6.1倍高速で、サンプリング処理単体で見れば10倍以上高速です。

ただし動作環境のハードルは高めです。配布されているのは約66GBのトランスフォーマー本体と2.5GBのLoRAで、bf16で動かすには96GB以上のVRAMを備えたGPUが推奨されます。VRAMが足りない場合はCPUオフロードも可能ですが速度は落ちます。なお、開発チームはRTX 5090（32GB）でのNVFP4量子化動作も確認していますが、そのスクリプトはまだリポジトリには含まれていません。

複数人が入り乱れるカットや素早い画面切り替えにはまだ課題がありますが、口元の同期（リップシンク）は`--audio`オプションを付けることで音声VAEの潜在変数を固定し、セリフに合わせて自然に動かせるよう改善されています。

コードと重みはHugging Faceで公開されており、ComfyUIノードのほか、Web上のデモでも試すことができます。

なぜ重要か

動画生成におけるアプローチの切り分け方が非常にスマートです。新キャラクターのデザインと動きの制御を同時に動画モデルに背負わせるのではなく、質感や光の整合性は1枚の画像編集で先に完璧に解決させ、動画モデルには「その変更を全編に伝播させる役割」だけに専念させています。

映像クリエイターやCG制作者にとって、納得のいく静止画を1枚仕上げるだけで、破綻の少ない長尺アニメーションへ即座に拡張できるワークフローは極めて強力です。