BaoCutのバーチャルアバターの仕組み：動画生成ではなく「影絵」方式で動かす

AIアバターの動画を作ろうとすると、最近は重量級の動画生成モデルに頼るのが主流です。しかしGPUの消費は激しく、ナレーションを1文字直すだけで動画全体を再レンダリングする羽目になります。

動画ツールBaoCutは、これとは全く異なるアプローチを選びました。同社が解説したバーチャルアバターの動作原理は、要するに動画を生成しているのではなく、コードで動かす現代の「影絵芝居」です。

27層に分解し、バネで揺らす

この仕組みは、分解、駆動、発話の3段階で構成されています。

まずは分解です。AIに正面向きの顔を1枚描かせ、さらに11回微修正させます。プログラムがピクセル単位で変化を比較し、自動的に27のレイヤーに分解します。公開されたデモでは、画像のベース生成にByteDanceのSeedream 5.5が使われました。

次は駆動です。骨格やメッシュ変形、バネの物理挙動は、Apache-2.0ライセンスのオープンソースLivLiv Playerから移植されています。画像全体にメッシュの網をかぶせ、17個のパラメーターノブで制御することで、首振りに連動して髪がバネのように揺れる動きを再現します。

そして発話です。音量に合わせて口を開閉させる大雑把な方式ではなく、各文字の発音記号を読み取って適切な口の形を割り当てます。さらに人間の自然な発話に合わせて、音声より0.03秒早く口を動かす工夫も入っています。

2Dレイヤーの変形だけで動いているため、生成時に重いGPU演算を必要としません。セリフを修正した際も、口形のデータを再計算するだけで済み、キャラクターを再描画するコストはゼロです。

Agentとつなぎ、一言で動画を書き出す

BaoCutはこの仕組みを、開発者向けエージェントから呼び出せるスキルとしても整備しました。ターミナルで baocut skill install を実行するだけで、Claude CodeやCodexなどのAgentがBaoCutの操作を学習します。

ユーザー自身がタイムラインを編集する必要はありません。最初から用意されている19体のオリジナルアニメキャラを選ぶか、Agentに頼んで自分専用のキャラクターを生成してもらえます。

キャラを新規作成する場合、約9回の画像生成を伴います。正面向き、目を開け、口を閉じ、単色背景で髪があることが条件です。ベース画像にOKを出せば、Agentが自動で加筆・分解してパッケージ化します。

あとは「特定テーマの3分解説動画を作り、右下にアバターを置いて」と指示するだけです。Agentが台本作成、音声合成、口形計算、タイムライン配置まで一括して行い、プレビュー用リンクを提示してくれます。

一方で、機能の割り切りも明確です。対応するのはアニメ調のキャラクターのみで、実写写真へのリップシンクや顔の差し替えには対応していません。

口形の精度が高いのは中国語、英語、日本語の仮名、韓国語で、それ以外の言語は音量依存の開閉になります。首を振れる角度は最大30度までで、手は描かれず、髪のない坊主頭キャラも現時点ではサポート外です。

なぜ重要か

個人開発者やコンテンツ制作者にとって、解説動画の制作コストを劇的に下げる現実的な選択肢が登場しました。これまでのAI口頭動画は、高額なレンダリング費用を払って動画モデルを回すか、静止画スライドで妥協するかの二者択一になりがちでした。BaoCutは、重い動画モデルを使わなくても、巧みな2Dレイヤー制御だけで十分に生き生きとした解説映像を作れることを示しています。

最も巧みなのは、ピクセルの生成競争から離れ、軽量なアセットの駆動に特化した点です。莫大な計算リソースを消費する拡散モデルを避け、オープンソースのメッシュ技術と正確な音素マッチングを組み合わせました。これをAgent用のスキルとして解放したことで、台本執筆から編集・レンダリングまでを自動ループに組み込める点も実用性が高いと感じます。

制約としては、2Dパペット特有の表現限界が挙げられます。30度の角度制限や手の不在、アニメ調限定という縛りがあるため、リッチな映像制作の代替にはなりません。それでも、ソフトの操作解説や日々のニュース配信の画面隅で喋らせる用途であれば、レンダリング負荷も時間もかからないこの方式が、今最も理にかなった解と言えます。