Browser Use, video-use 오픈소스 공개: Claude Code로 영상 직접 편집

video-use는 Browser Use 팀이 오픈소스로 공개한 영상 편집 도구로, Claude Code나 Codex처럼 터미널 제어 권한을 가진 AI 에이전트가 영상을 직접 편집할 수 있도록 돕습니다.

촬영한 원본 영상을 폴더에 넣고 에이전트에게 명령을 내리면, 에이전트가 소스를 분석해 편집 전략을 제안하고 사용자의 승인을 거쳐 최종 결과물을 만들어 냅니다. 말실수나 군말, 테이크 사이의 불필요한 공백을 잘라내고, 컷이 이어지는 지점마다 30밀리초 오디오 페이드를 적용해 튀는 잡음을 방지합니다. 자동 색보정과 자막 합성도 지원합니다.

영상을 보지 않고 어떻게 편집하나

수만 장의 비디오 프레임을 대형언어모델에 그대로 넣으면 수천만 토큰이 소모되는 비효율이 발생합니다. video-use는 Browser Use가 웹 화면 스크린샷 대신 구조화된 DOM을 전달했던 방식을 영상에도 그대로 적용했습니다.

핵심은 두 단계의 데이터 레이어입니다. 첫 번째는 기본으로 로드되는 단어 단위 음성 전사 데이터입니다. ElevenLabs Scribe를 호출해 각 단어의 정확한 시간 정보와 화자 분리, 웃음이나 박수 같은 음향 이벤트를 추출한 뒤 약 12KB 크기의 마크다운 파일로 정리해 모델에게 전달합니다.

두 번째는 필요할 때만 호출하는 시각 검증 단계입니다. 애매한 침묵 구간이나 재촬영 테이크를 비교할 때만 필름스트립과 오디오 파형, 단어 라벨이 결합된 합성 이미지를 생성해 모델이 확인합니다.

이후 ffmpeg를 통해 컷을 렌더링하고, 자체 평가 루프를 돌려 컷 연결부에 화면 튐이나 자막 가림 현상이 없는지 검사하며 최대 3회까지 자동으로 재작업을 수행합니다.

설치 및 사용 방법

이 도구는 GitHub에 100% 오픈소스로 공개되어 있습니다. 로컬 환경에 Python과 ffmpeg, ElevenLabs API 키가 필요하며, 온라인 소스를 내려받을 때는 yt-dlp를 추가로 활용할 수 있습니다.

설치는 리포지토리를 복제한 뒤 Claude Code의 스킬 경로에 심볼릭 링크를 연결하면 끝납니다. 영상이 있는 작업 폴더에서 에이전트를 실행하고 출시 영상으로 편집해 달라는 식의 자연어 명령을 입력하면 edit 폴더 안에 결과물이 생성됩니다. 필요한 경우 Remotion이나 Manim, PIL 같은 도구를 병렬로 띄워 설명용 그래픽이나 애니메이션을 오버레이로 얹을 수도 있습니다.

왜 중요한가

우리는 이 도구가 비디오 프레임을 무리하게 시각 모델로 처리하지 않고, 음성 전사 텍스트를 기준으로 컷을 다루도록 설계한 점이 매우 영리하다고 봅니다. 토큰 비용을 최소화하면서도 단어 단위의 정밀한 컷 편집이 가능하기 때문입니다.

다만 외부 매체의 평가처럼 텍스트 자막에 크게 의존하는 구조인 만큼, 주된 용도는 말로 진행되는 튜토리얼이나 인터뷰, 브이로그 같은 토킹헤드 영상에 맞춰져 있습니다. 화면 중심의 연출이나 복잡한 몽타주 편집이 필요한 작업에는 한계가 분명하지만, 낭비되는 반복 편집 시간을 줄이려는 크리에이터라면 지금 바로 도입해 볼 만합니다.