OmniLottie発表：マルチモーダル指示からLottieベクターアニメを直接生成

OmniLottieは、テキストや画像、動画といったマルチモーダルな指示から、軽量なLottieベクターアニメーションを直接生成できるフレームワークです。ピクセルベースの動画を書き出すのではなく、そのままWebやアプリの実装に使えるJSONコードを直接出力します。

何ができるのか

これまでの生成AIによるアニメーション作成は、MP4やGIFなどのピクセル動画を出力する手法が主流でした。しかし、これらのファイルはサイズが重く、拡大すると画質が劣化するため、アプリのUIパーツやインタラクティブな動的グラフィックとしては実用的ではありませんでした。

OmniLottieはフロントエンド開発で広く使われているLottie形式に直接対応しています。ユーザーが入力したプロンプトや参考画像を理解し、拡大縮小しても劣化しないベクターデータとモーションパラメータを含むJSONファイルを直接出力できます。

どのような仕組みか

生のLottie JSONファイルには固定的なメタデータや構文トークンが大量に含まれており、そのまま機械学習モデルに読み込ませるのは非効率でした。

そこで研究チームは、専用のLottieトークナイザーを開発しました。JSON構造を整理し、形状、アニメーション関数、制御パラメータなどを表すコマンドとパラメータの構造化シーケンスへと変換します。

この変換により、既存の事前学習済み視覚言語モデル（VLM）を活用したエンドツーエンドの生成が可能になりました。研究チームはさらに、高品質なベクターアニメーション200万件をテキストと画像でアノテーションした「MMLottie-2M」データセットを構築し、標準評価手法とともに整備しました。

コミュニティでも、ピクセルではなくパラメータ化されたトークンとして生成するアプローチは、低コストで実用的な出力が得られる賢明な手法として注目されています。

公開状況と確認方法

現在、論文の詳細はHugging Faceの論文ページ（ID: 2603.02138）にて公開されており、フレームワークの構成やデータセットの概要を確認できます。

なぜ重要か

UIデザイナーやフロントエンドエンジニアにとって、アニメーション制作からコード実装までの工程は長年のボトルネックでした。OmniLottieは、軽量でスケーラブルなUI動態を直接プロンプトから生成できる実用的な道筋を示しています。

映像生成モデルの画質競争とは異なり、開発現場のワークフローに直結するフォーマットに着目した点は非常に実用的です。構造化データを独自トークン化して視覚言語モデルに乗せる手法は、ベクターグラフィックス以外の産業向けアセット生成にも応用できる有望なアプローチだと言えます。