跳到正文
IFAI

AI工具

Browser Use 新增录屏与剪辑:智能体一边操作,一边自动做教学视频

首次发布 传播指数 41

browser-use 为 browser-harness 合并了 PR #532,支持在智能体操作网页时同步记录截图与事件流。随后智能体可通过内置模板将其自动合成为带平滑缩放、光标动效和敏感信息打码的高质感演示视频,且全程无需安装 ffmpeg。

Browser Use 新增录屏与剪辑:智能体一边操作,一边自动做教学视频
图:github.com

browser-harness 是开源项目 browser-use 旗下的浏览器测试与控制工具,最近合入的 PR #532 给它加了一整套自动化录屏和视频制作系统。简单来说,智能体在帮你点网页、填表单的同时,会自动把操作过程记录下来,并在最后剪辑成一段质感接近 Screen Studio 的教学或演示视频。

它能做什么

以往让 AI 跑浏览器任务,过程要么是一堆终端日志,要么是连贯性很差的生硬截图。browser-harness 这套新功能把记录和剪辑拆成了两步,交给智能体全自动完成。

在执行任务时,系统会记录每一次操作对应的截图,并生成一份 events.jsonl 事件轨迹。当智能体完成操作后,调用内置的 make-video 技能,它就能自动把这些素材组装成视频。

剪辑出的成片并不是简单的快放录屏。它自带逼真的 Chrome 窗口外框、柔和的相机镜头推拉、合成的平滑光标轨迹,以及底部操作说明和遥测信息胶囊。如果遇到报错,画面还会配合红色晕影和抖动动效,清晰标出错误节点。

更实用的是隐私保护。录制模块会自动过滤掉 URL 里的 OAuth 授权码、Token 和 API 密钥等敏感参数;视频模板还支持区域马赛克,在镜头缩放甚至画面切换时,被打码的敏感区域都会保持像素化遮挡。

怎么做到的与怎么用

这套工具最聪明的地方在于渲染架构:它完全不需要在系统里安装庞大的 ffmpeg 依赖。

开发团队写了一个独立的 HTML 合成器(video-template.html),让浏览器自身在 Canvas 上一帧帧绘制窗口、阴影、光标动效和背景渐变。最后直接通过浏览器原生的 MediaRecorder API,把画面导出为 WebM 视频文件。整个过程不仅体积轻巧,而且跨平台表现非常稳定。

在日常使用中,录制功能可以按需开启。你只需要对智能体说「把这个操作录下来」或者输入 record 等关键词,它就会调用 start_recording() 开始追踪。如果你想自动记录所有操作,也可以设置环境变量 BH_RECORD=1。为了防止不同任务混在一起,系统在 180 秒无操作后会自动切分会话;而显式发起的录制任务则不受超时限制。

想要生成视频,只需要在任务结束后调用交互技能中的 make-video 流程,或者通过 CLI 运行相关视频导出指令。相关代码和技能文件已经完整合并进 browser-use/browser-harness 主分支,拉取最新代码即可直接在本地上手体验。

为什么重要

如果你经常需要给团队写系统操作手册、给用户做产品功能演示,或者在开发基于网页的 AI 智能体,这个功能非常值得一试。它把过去需要录屏软件加后期剪辑半小时的工作,压缩成了智能体执行任务顺手导出的产物。

和市面上依赖复杂剪辑管线或云端转码的方案相比,browser-harness 依靠纯前端技术栈把视频渲染闭环在浏览器内,既省去了部署负担,又天然避免了敏感数据外流。它让 AI 智能体不仅能默默干活,还能用体面直观的方式把活展示出来。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选