複数人物・物体の整合性を保つ動画生成モデル「Homie」がオープンソース化

Homie は、複数の人物や物体を参照しながら一貫性のある動画を生成できるオープンソースの動画生成フレームワークです。指定した人物や道具の画像を入力するだけで、特徴を崩さずに自然に動く動画を生成できます。

何ができるのか

複数の被写体を同時に扱うことができ、実写の写真だけでなく 3D アニメ調のキャラクターにも対応します。

着物の細かな柄や複雑な形状の玩具など、従来のモデルでは破綻しやすかったオブジェクトでも、高い一貫性を保ったまま動画化できます。

インフルエンサーマーケティングへの活用も容易で、人物の写真と宣伝したい商品の画像を入力するだけで、UGC スタイルのプロモーション動画をまとめて生成できます。

特に強力なのが、同一被写体のマルチアングル入力に対応している点です。複雑な物体でも複数角度の画像を与えることで、回転や視点変更時の崩れを大幅に低減できます。

さらに OCR 位置マップの入力にも対応しており、文字やロゴをアイテムのどこに配置すべきかを指定できるため、パッケージの文字潰れや不自然な描画を防ぐことができます。

どう実現しているのか

従来の被写体主導型動画生成では、被写体同士の自然な相互作用とディテールの保持を両立することが難しく、ロゴなどの配置が破綻する問題がありました。

先行手法のようにマルチモーダル言語モデル（MLLM）の特徴量を既存のテキスト埋め込み空間に無理やり押し込めたり、テキストエンコーダを完全に置き換えたりすると、指示追従性の低下や膨大な再学習コストが発生します。

Homie は従来のテキストエンコーダをそのまま残してプロンプトの制御性を担保し、MLLM には参照画像間の関係性抽出に専念させる構造を採用しました。

自己注意機構内にグローバルなマルチモーダルガイダンスを導入し、MLLM の意味特徴量と VAE トークンを適切に整列させ、独自のリファレンス埋め込みで特徴を区別しています。

VACE や Phantom といった従来の参照系モデルと比較しても、Homie は複雑なシーンでの誤生成が少なく、参照画像への忠実度で優れた性能を示しています。

コードとモデルウェイトはすでに公開されており、ローカル環境で試すことが可能です。

なぜ重要か

動画生成 AI を商業利用する上で最大の壁だった「商品の変形」と「文字やロゴの破綻」という課題に対して、マルチアングルと OCR 指定という極めて実用的なアプローチを提示しています。インフルエンサーを活用した広告動画の量産など、実務への応用可能性は非常に高いと言えます。

拡散モデルのテキスト制御を壊さずに MLLM の理解力を組み合わせる設計もスマートで、モデル再学習のコストを抑えた手堅い進化です。真価を発揮するには複数アングルの素材や OCR マップの事前準備が必要ですが、一貫した動画表現を求めるクリエイターは試す価値があります。