ByteDance、画像と動画の理解・生成・編集をこなす統合モデル「Lance」をオープンソース公開

Lanceは、画像と動画の「理解」「生成」「編集」をひとつの重みでこなす、ByteDanceのオープンソース統合マルチモーダルモデルです。

何ができるのか

最大の特徴は、これまでバラバラだった視覚タスクを単一モデルに統合した点にあります。テキストからの画像や動画の生成はもちろん、既存の動画や静止画を言葉で指示して編集することも可能です。

特に動画編集は実用的です。背景を炎に変えたり車を赤く塗り替えたりできるほか、複数回の対話を通じて段階的に編集を進められます。例えば、髪を伸ばして巻き毛にし、花冠を載せ、背景を変えて手を挙げさせるといった連続指示に対応します。

静止画でもアニメ風や水彩画、リアルな写真調の生成に対応し、別々の写真の要素を自然に合成して一貫性を保つ編集もこなします。

また、画像や動画の理解力も優れています。迷路の画像を入力すると脱出経路をたどる動画を生成したり、グラフや図表を含む動画に対して質問すれば内容を正確に読み取って回答したりできます。

仕組みと動作環境

Lanceは単にパラメータを巨大化させるのではなく、デュアルストリームのMixture-of-Experts（MoE）構造を採用しています。

理解と生成の処理経路を分離することで、タスク同士の干渉を防ぎながら共通のコンテキストを学習します。アクティブパラメータは30億（3B）に抑えられており、総パラメータは推定14B前後です。

すでにコードと論文が公開されており、ローカル環境での実行手順も案内されています。

ただし、ローカル動作のハードルは高めです。複合的なマルチモーダル処理をこなすため、最低でも40GBのVRAMを搭載したGPUが必要となります。

なぜ重要か

Lanceの意義は、モデルの大規模化に頼らず「マルチタスクの協調」で理解と生成の両立を示したところにあります。

理解用のVLMと生成用の拡散モデルをつぎはぎする従来の手法と比べ、ネイティブ統合型ならではの対話的・段階的な編集体験は大きな強みです。

動画単体の画質そのものはまだトップ水準には届かないものの、対話しながら素材を修正していく制作パイプラインの基盤として、試す価値のあるモデルといえます。