Showlabが「Kiwi-Edit」を完全公開:指示文や参照画像で720p動画を自由編集
Showlabが動画編集フレームワーク「Kiwi-Edit」のコード、モデル、データセットを完全公開した。マルチモーダルLLMと5Bの動画拡散Transformerを組み合わせ、自然言語や参照画像をもとに720p動画の背景変更や被写体の追加・削除を行える。時間的一貫性を保った編集をオープンモデルで実現している。
Showlabが動画編集フレームワーク「Kiwi-Edit」のコード、モデル、データセットを完全公開した。マルチモーダルLLMと5Bの動画拡散Transformerを組み合わせ、自然言語や参照画像をもとに720p動画の背景変更や被写体の追加・削除を行える。時間的一貫性を保った編集をオープンモデルで実現している。
ShowLabは画面録画から操作手順を学習するPC操作エージェント「ShowUI-Aloha」をMITライセンスで公開した。航空券予約やExcel編集を一度実演するだけで手順を抽象化して再実行でき、OSWorldベンチマークで60.1%の成功率を記録した。