Showlabが「Kiwi-Edit」を完全公開：指示文や参照画像で720p動画を自由編集

Kiwi-Editは、自然言語の指示文や1枚の参照画像を使って、既存の720p動画を直接加工できるオープンソースの動画編集フレームワークだ。シンガポール国立大学発のShowlabが公開した。

ゼロから動画を生成するツールとは異なり、既存クリップの特定要素だけを狙って書き換える点に特化している。今回、ソースコードだけでなくモデルの重みと学習データセットも完全に一般公開された。

何ができるのか

Kiwi-Editの機能は大きく分けてテキスト指示型と参照画像型の2系統ある。

テキスト指示では、実写動画をアニメ調や水彩画風に変換するグローバルなスタイル変更のほか、被写体に帽子をかぶせたり、画面内の不要な人物だけを消去したりするローカルな編集に対応する。

参照画像を渡した場合は、その画像から背景情報や被写体を抽出し、元の動画のカメラワークや物理的な動きを崩すことなく滑らかに合成できる。フレーム間のチラつきを抑え、時間的一貫性を保てるのが特徴だ。

仕組みと動作環境

システムは指示を理解するマルチモーダルLLMと、5Bパラメータの動画拡散Transformer（DiT）を組み合わせて構築されている。

学習にはアライメント、指示チューニング、参照画像チューニングの3段階カリキュラムを採用した。また、指示用データを参照付きデータへ変換する自動パイプラインも整備している。

1280×704解像度の評価では、Lucy-EditやOpenVE-Editといった5B〜14B級の競合オープンモデルを総合スコアで上回った。Runway Alephのような商用プロプライエタリモデルに迫る編集精度を見せているが、Kling-O1などの商用トップ陣と比べると被写体の一貫性にまだ開きがある。

モデルサイズは約20GBあり、ローカル環境で快適に動かすにはハイエンドなコンシューマー向けGPUが必要となる。

論文はarXivに掲載されており、コード、重み、データセットは公式GitHubおよびプロジェクトページから入手可能だ。

なぜ重要か

生成AI動画の課題だった再編集の難しさを、オープンソースの形で大きく前進させた点に意義がある。クラウドサービスのAPIに依存せず、ローカル環境で720p動画の背景差し替えやオブジェクト追加が試せる土台が整った。

データセットまで丸ごと公開した開発姿勢は極めて実用的で、開発者が独自の編集パイプラインを組む足がかりになるだろう。動作には高性能GPUが必須というハードルの高さはあるものの、自前で動画編集AIを組み込みたいクリエイターやエンジニアにとっては、今すぐ検証する価値のある有力な選択肢だ。