Browser Use 开源 video-use:让 Claude Code 读字幕直接剪视频
Browser Use 开源了 video-use,让 Claude Code 等智能体能直接剪辑视频。它避开直接灌入海量视频帧的高成本做法,改为利用带时间戳的语音转录文本与按需抽帧,支持自动裁切废话停顿、加字幕与调色。
video-use 是 Browser Use 团队开源的视频剪辑技能包,能让 Claude Code、Codex 等具备终端权限的智能体直接帮你剪视频。
你只需要把原始拍摄素材扔进一个文件夹,在命令行里对智能体说一句话,它就会分析素材、提出剪辑策略,确认后直接在本地渲染输出成片。它不仅能自动裁掉口头禅、重复卡壳和镜头之间的冷场空白,还能在每个剪辑点自动加上 30 毫秒的音频淡入淡出消除爆音,并完成基础调色和字幕烧录。
它是怎么剪辑的
让大模型去硬看视频通常极度浪费,三万帧画面换算下来相当于 4500 万 token 的无意义消耗。video-use 沿用了 Browser Use 用结构化 DOM 代替网页截图的思路,把视频压缩成了文字和按需截图两层结构。
第一层是文字转录。它通过调用一次 ElevenLabs Scribe,获取精确到具体单词的时间戳、说话人标记,以及笑声、掌声等声音事件。所有镜头的信息会被整理进一份只有大约 12KB 的文本文件,作为模型理解内容的主要输入。
第二层是按需生成的视觉合成图。只有在遇到模棱两可的停顿、对比多次重录的画面,或者需要核对剪辑点时,它才会调用工具生成一张包含胶片缩略图、音频波形和单词标签的合成图片。
模型根据字幕排定剪辑决策表后,会调用 ffmpeg 进行渲染,并在每个切口处自动执行视觉与音频自检,排查跳帧和字幕遮挡问题,最多自动重试修复三次。
怎么配置和上手
这个项目完全开源,代码托管在 GitHub 上。它的运行依赖 Python 环境、ffmpeg 以及一个 ElevenLabs 的 API Key,如果你需要从网上直接抓取素材,还可以选配安装 yt-dlp。
最方便的使用方式是把它作为技能软链接到 Claude Code 的技能目录。配置好环境变量后,进入放素材的视频文件夹启动 Claude,直接输入要求,比如让它剪辑一段发布会视频,它就会自动在素材目录的 edit 子文件夹里生成最终成片。如果需要动态插图或公式动画,它还能并行调用 Remotion、Manim 或 PIL 等工具来生成图层。
为什么重要
我们认为这个项目最聪明的地方,在于彻底放下了让视觉多模态大模型逐帧理解长视频的执念。它把视频剪辑还原成以文本为锚点、以时间戳为坐标的编辑任务,既大幅压缩了推理成本,又保证了剪辑点的精准度。
不过也有国内媒体指出,它的核心完全建立在语音转录之上,本质上是一个文字驱动的粗剪工具。这意味着它非常适合口播、访谈、教程和 vlog 这一类以人声主导的内容创作者试用;但如果你想做节奏复杂的混剪、强调画面叙事的微电影,它目前还替代不了专业剪辑师的手工操作。
来源 (1)
- github.com(在新标签页打开)原文github.com