TeleStyle 公開：画像・動画の画風を参照画像やテキストで自在に変換

静止画をアニメ風や水彩画風に変えるだけなら、いまのAIにとっては珍しい技術ではありません。しかし動画全体にスタイルを適用しようとすると、構図が崩れて原型をとどめなくなったり、フレームごとに激しいちらつきが発生したりするのが常でした。

研究チームはこうした課題に対処するスタイル変換モデル「TeleStyle」を発表し、オープンソースとして公開しました。静止画だけでなく動画にも対応しており、コミック風、ビクトリア調、アトムパンク、ミニマリズムなど、多彩な画風へ一括変換できます。

近年のDiffusion Transformer（DiT）モデルは、内部表現で構図などのコンテンツ情報と画風スタイル情報が絡み合っており、スタイルだけを差し替えるのが困難でした。TeleStyleは、編集精度の高いQwen-Image-Editをベースモデルに採用することで、元の形状を維持する能力を土台から確保しています。

カリキュラム学習による高い汎用性

未知の画風に柔軟に適応させるため、学習データにも工夫が凝らされています。明確な画風を持つ高品質な厳選データに加え、実環境の多様なスタイルカテゴリから数千単位の合成トリプレットデータを構築しました。

そして、整理されたデータとノイズを含む合成データを段階的に学ばせる「カリキュラム継続学習」フレームワークを導入しました。これにより、学習時に見られなかった未知のスタイルが与えられた場合でも、被写体の正確さを損なわずにスタイルを反映できるようになりました。

動画生成においては、フレーム間のちらつきを抑える専用のvideo-to-videoモジュールを組み込んでいます。テキスト指示だけでなく参照画像を1枚渡すだけでも、一貫した動きを保ったままスタイルを転写できます。ベンチマーク評価では、スタイルの類似度、コンテンツの一貫性、視覚的品質の3項目すべてでトップクラスのスコアを記録しました。コードと事前学習済みモデルはすでに公開されています。

なぜ重要か

動画のスタイル変換は実用化のハードルが高く、商用の高価なプラグインに頼るか、ちらつきを妥協するケースがほとんどでした。TeleStyleがコードと重みをオープンにしたことで、個人クリエイターや独立系スタジオが手元で実用的な映像スタイライズを試せる環境が整いつつあります。

新規に巨大モデルをゼロから構築するのではなく、すでに実績のあるQwen-Image-Editの上にスタイル分離層を乗せたアプローチは非常に合理的です。無駄な計算リソースを抑えつつ、コンテンツの安定性を手堅く担保しています。

とはいえ、軽量モデルを謳っているものの、高解像度の動画処理には依然として十分なVRAMを持つGPU環境が求められます。それでも、好みの参照画像を与えるだけで映像の質感をガラリと統一できるオープンな選択肢が登場した意義は小さくありません。