Showlab, 720p 영상 편집 오픈소스 프레임워크 'Kiwi-Edit' 공개

Kiwi-Edit은 자연어 명령어나 참조 이미지 한 장으로 기존 720p 비디오를 직접 편집할 수 있는 오픈소스 비디오 편집 프레임워크다. Showlab 연구팀이 개발해 공개했다.

처음부터 영상을 만들어내는 생성 도구와 달리, 기존 영상의 일관성을 유지하면서 원하는 부분만 고치는 작업에 초점을 맞췄다. 소스 코드뿐만 아니라 모델 가중치와 학습 데이터셋까지 전부 무료로 공개됐다.

무엇을 할 수 있나

Kiwi-Edit은 크게 텍스트 명령어 기반 편집과 참조 이미지 기반 편집의 두 가지 방식을 지원한다.

명령어 모드에서는 실사 비디오를 스케치나 수채화, 애니메이션 풍으로 바꾸는 전체 스타일 변환이 가능하다. 특정 인물에게 모자를 씌우거나 불필요한 행인을 지우는 국소 부위의 객체 추가 및 제거도 지원한다.

참조 이미지를 입력하면 이미지 속 배경이나 특정 객체만 추출해 영상 안에 자연스럽게 합성할 수 있다. 이때 원본 영상의 카메라 움직임과 피사체의 물리적 동작을 보존하면서 프레임 간 깜빡임 없이 일관된 결과를 만들어낸다.

동작 원리와 구동 환경

내부 구조는 사용자 명령을 해석하는 멀티모달 LLM과 실제 편집 생성을 담당하는 5B 파라미터 규모의 비디오 확산 트랜스포머(DiT)로 이뤄져 있다.

학습은 표현 정렬, 지시어 미세조정, 참조 가이드 미세조정의 3단계 커리큘럼으로 진행됐다. 연구진은 명령어 데이터를 참조 가이드 데이터로 자동 변환하는 파이프라인도 구축해 안정성을 높였다.

1280×704 해상도 벤치마크에서 Kiwi-Edit은 Lucy-Edit, OpenVE-Edit 등 기존 5B~14B 오픈소스 모델들을 종합 점수에서 앞질렀다. Runway Aleph 같은 상용 모델과 견줄 만한 편집 품질을 보여주지만, Kling-O1 같은 대형 상용 서비스와 비교하면 피사체 정체성 유지 측면에서 여전히 격차가 존재한다.

모델 용량은 약 20GB 수준으로, 로컬에서 매끄럽게 실행하려면 VRAM 여유가 있는 고사양 소비자용 GPU가 필요하다.

논문은 arXiv에 게재되었으며, 관련 코드와 모델, 데이터셋은 깃허브 및 공식 프로젝트 페이지를 통해 내려받을 수 있다.

왜 중요한가

오픈소스 비디오 생성 진영에서 가장 까다로웠던 정밀 편집 영역을 실용적인 수준으로 끌어올렸다는 점에서 주목할 만하다. 상용 클라우드 API에 종속되지 않고 로컬에서 720p 해상도의 영상 수정 파이프라인을 구축할 수 있게 됐다.

코드뿐 아니라 데이터셋과 3단계 학습 구조를 투명하게 공개한 점이 가장 돋보인다. 고성능 GPU가 필수적이라는 진입 장벽은 남아 있지만, 영상 워크플로를 자동화하려는 창작자나 개발팀이라면 충분히 내려받아 테스트해 볼 가치가 있다.