跳到正文
IFAI

開源專案

Browser Use 開源 video-use:讓 Claude Code 讀字幕直接剪影片

首次發布 傳播指數 48

Browser Use 開源了 video-use,讓 Claude Code 等智慧體能直接剪輯影片。它避開直接灌入海量影片幀的高成本做法,改為利用帶時間戳的語音轉錄文本與按需抽幀,支援自動裁切廢話停頓、加字幕與調色。

video-use 是 Browser Use 團隊開源的影片剪輯技能包,能讓 Claude Code、Codex 等具備終端許可權的智慧體直接幫你剪影片。

你只需要把原始拍攝素材扔進一個資料夾,在命令列裡對智慧體說一句話,它就會分析素材、提出剪輯策略,確認後直接在本地渲染輸出成片。它不僅能自動裁掉口頭禪、重複卡殼和鏡頭之間的冷場空白,還能在每個剪輯點自動加上 30 毫秒的音訊淡入淡出消除爆音,並完成基礎調色和字幕燒錄。

它是怎麼剪輯的

讓大模型去硬看影片通常極度浪費,三萬幀畫面換算下來相當於 4500 萬 token 的無意義消耗。video-use 沿用了 Browser Use 用結構化 DOM 代替網頁截圖的思路,把影片壓縮成了文字和按需截圖兩層結構。

第一層是文字轉錄。它通過呼叫一次 ElevenLabs Scribe,獲取精確到具體單詞的時間戳、說話人標記,以及笑聲、掌聲等聲音事件。所有鏡頭的資訊會被整理進一份只有大約 12KB 的文本檔案,作為模型理解內容的主要輸入。

第二層是按需生成的視覺合成圖。只有在遇到模稜兩可的停頓、對比多次重錄的畫面,或者需要核對剪輯點時,它才會呼叫工具生成一張包含膠片縮圖、音訊波形和單詞標籤的合成圖片。

模型根據字幕排定剪輯決策表後,會呼叫 ffmpeg 進行渲染,並在每個切口處自動執行視覺與音訊自檢,排查跳幀和字幕遮擋問題,最多自動重試修復三次。

怎麼配置和上手

這個專案完全開源,程式碼託管在 GitHub 上。它的執行依賴 Python 環境、ffmpeg 以及一個 ElevenLabs 的 API Key,如果你需要從網上直接抓取素材,還可以選配安裝 yt-dlp。

最方便的使用方式是把它作為技能軟連結到 Claude Code 的技能目錄。配置好環境變數後,進入放素材的影片資料夾啟動 Claude,直接輸入要求,比如讓它剪輯一段釋出會影片,它就會自動在素材目錄的 edit 子資料夾裡生成最終成片。如果需要動態插圖或公式動畫,它還能並行呼叫 Remotion、Manim 或 PIL 等工具來生成圖層。

為什麼重要

我們認為這個專案最聰明的地方,在於徹底放下了讓視覺多模態大模型逐幀理解長影片的執念。它把影片剪輯還原成以文本為錨點、以時間戳為座標的編輯任務,既大幅壓縮了推理成本,又保證了剪輯點的精準度。

不過也有國內媒體指出,它的核心完全建立在語音轉錄之上,本質上是一個文字驅動的粗剪工具。這意味著它非常適合口播、訪談、教程和 vlog 這一類以人聲主導的內容創作者試用;但如果你想做節奏複雜的混剪、強調畫面敘事的微電影,它目前還替代不了專業剪輯師的手工操作。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選