OmniShotCut: 영상 컷과 전환 효과 자동 감지, 164MB 초경량 모델 공개

영상 편집이나 레퍼런스 분석을 해본 사람이라면 누구나 컷이 어디서 나뉘었는지, 어떤 전환 효과가 들어갔는지 찾기 위해 타임라인을 한 프레임씩 넘기며 씨름해 본 경험이 있을 것입니다.

최근 공개된 오픈소스 AI 도구 OmniShotCut은 이러한 반복 노동을 단번에 해결해 줍니다. 영상을 입력하기만 하면 컷이 발생한 지점을 찾아내고 정확한 타임스탬프를 자동으로 찍어줍니다.

단순 하드컷을 넘어 복잡한 화면 전환 효과까지 판별

영상 샷 경계 감지는 오랜 연구 분야였지만, 기존 도구들은 단순 하드컷에만 강할 뿐 디졸브나 페이드처럼 장면이 겹치는 구간에서는 경계를 엉뚱하게 잡거나 세부 효과를 구분하지 못하는 한계가 있었습니다.

OmniShotCut은 일반적인 컷 분할은 물론이고 디졸브, 페이드인과 페이드아웃, 슬라이드, 크로스 줌 등 다양한 전환 기법을 정확하게 식별해 냅니다.

공개된 논문에 따르면 이 모델은 Shot-Query 기반의 고밀도 비디오 트랜스포머 아키텍처를 도입하여 샷 내부와 샷 간의 상관관계를 동시에 추론하는 구조적 예측 방식을 적용했습니다.

기존 수동 라벨링의 오차 문제를 피하기 위해 데이터 파이프라인도 전면 자동화했습니다. 웹 영상 250만 편을 수집한 뒤 1,100만 개 이상의 정밀 라벨이 부착된 30만 편의 합성 훈련 영상을 제작해 학습을 진행했으며, 광범위한 평가 벤치마크인 OmniShotCutBench도 함께 구축했습니다.

무엇보다 인상적인 부분은 가벼운 체급입니다. 모델 크기가 단 164MB에 불과해 고사양 장비 없이도 로컬 PC에서 가볍게 구동할 수 있으며, 허깅페이스 스페이스에 무료 체험 데모가 마련되어 있어 브라우저에서 바로 테스트해 볼 수도 있습니다.

왜 중요한가

우리는 OmniShotCut이 실제 제작 현장의 병목을 정조준한 대단히 영리한 도구라고 평가합니다.

영상 크리에이터와 편집자 입장에서 164MB 크기는 엄청난 실용성을 제공합니다. 무거운 원본 소스를 클라우드에 업로드할 필요 없이 일반 노트북에서도 오프라인으로 빠르게 컷을 분류하고 편집 구조를 역공학할 수 있기 때문입니다.

더 나아가 대형 비디오 AI 파이프라인의 핵심 인프라로도 가치가 큽니다. 장시간 영상을 멀티모달 모델에 학습시키거나 검색할 때 가장 큰 문제는 엉뚱한 지점에서 프레임이 잘려 맥락이 깨지는 현상인데, 이 모델을 전처리 단계에 배치하면 샷 단위로 깔끔하게 정제된 데이터셋을 손쉽게 확보할 수 있습니다.

무작정 파라미터 덩치를 키우는 대신 정교한 합성 데이터와 경량 트랜스포머 설계를 통해 특정 전문 작업을 완벽히 끝내는 방식이야말로 실제 작업 흐름에 가장 빠르게 안착할 수 있는 AI 개발 방향입니다.