Browser Useがvideo-useを公開：Claude Codeで動画編集が可能に

video-useは、Browser Useチームがオープンソースとして公開した動画編集スキルです。Claude CodeやCodexなど、ターミナルで動作するAIエージェントに直接動画をカット編集させることができます。

使い方はシンプルで、素材動画を入れたフォルダを用意し、エージェントに対話形式で指示を出すだけです。エージェントが素材を一覧化して編集方針を提案し、承認すると自動で最終成果物を出力してくれます。言い淀みや口癖、テイク間の無駄な沈黙を取り除き、カットのつなぎ目には30ミリ秒のフェードを自動適用してノイズを防ぎます。さらに自動の色補正や字幕の焼き込みにも対応しています。

動画を見ずにどうやって編集するのか

動画フレームをそのままLLMに読み込ませると、数万フレームで4500万トークン以上を消費し、ノイズばかりが増えてしまいます。video-useは、Browser UseがWebブラウザのスクリーンショットの代わりにDOM構造を渡したのと同じ発想を採用しています。

中核となるのは2層の仕組みです。第1層は常に読み込まれる音声テキストです。ElevenLabsのScribeを呼び出し、単語単位のタイムスタンプ、話者分離、笑い声などの音声イベントを取得して、わずか12KBほどのテキストファイルに全テイクの情報をまとめます。

第2層は、必要なときだけ呼び出す画像確認です。判断に迷う間やテイクの比較、カット位置の最終確認が必要な場面でのみ、フィルムストリップと音声波形、単語ラベルを1枚にまとめた画像を生成して確認します。

レンダリング後はセルフチェック機能が働き、カットの境界に画面の乱れや音声ノイズ、字幕の隠れがないかを検証し、問題があれば最大3回まで自動で再修正を行います。

セットアップと使い方

プロジェクトはGitHubで完全なオープンソースとして提供されています。必要な環境はPython、ffmpeg、そしてElevenLabsのAPIキーです。Web上の動画を扱う場合はyt-dlpも利用できます。

リポジトリをクローンしてClaude Codeのskillsディレクトリにシンボリックリンクを貼れば、素材フォルダに移動して「claude」コマンドを起動するだけでセットアップが完了します。また、RemotionやManim、PILなどを呼び出して、アニメーションや図解オーバーレイを並行して生成させることも可能です。

なぜ重要か

動画をマルチモーダルモデルに力任せで見せるのではなく、音声テキストを主軸に据えた設計は非常に合理的だと考えられます。トークン消費を抑えつつ、単語単位のきわめて正確なカットが可能になっています。

一方で外部からも指摘されている通り、このツールは基本的に字幕テキストに依存してカットを行います。そのため、解説動画やインタビュー、トーキングヘッド形式の動画の粗編集には絶大な威力を発揮しますが、映像のテンポやビジュアル主導の凝った演出を求める動画にはまだ向いていません。用途を絞った自動化ツールとして試す価値があります。