Twelve Labs, Frame.io V4와 통합: 자연어로 영상 검색하고 규정 위반 자동 검수

영상 편집자나 제작팀이라면 수많은 촬영 원본 속에서 '해안가를 드론으로 넓게 찍은 샷' 하나를 찾기 위해 타임라인을 수없이 훑어본 경험이 있을 것입니다.

동영상 이해 AI 스타트업 트웰브랩스(Twelve Labs)는 11월 20일, 자사의 기초 모델을 어도비의 협업 플랫폼인 Frame.io V4에 직접 연동했다고 발표했습니다.

사용자는 다른 플랫폼으로 영상을 내려받거나 이동할 필요 없이, Frame.io 인터페이스 안에서 마우스 우클릭만으로 자연어 검색과 메타데이터 추출을 진행할 수 있습니다.

우클릭 한 번으로 영상 라이브러리를 검색 엔진으로 전환

이번 연동은 Frame.io V4의 핵심 기능인 커스텀 액션(Custom Actions)과 맞춤형 메타데이터 필드를 기반으로 구현되었습니다.

적용된 모델은 트웰브랩스의 영상-언어 모델인 Marengo 2.7과 Pegasus 1.2입니다.

Marengo 2.7은 영상과 오디오, 텍스트를 아우르는 멀티모달 임베딩을 생성합니다. 덕분에 수작업 태그에 의존하지 않고도 '해안선 드론 샷' 같은 일상적인 문장으로 특정 장면을 찾거나, 이미지 한 장을 넣어 구도와 분위기가 비슷한 B롤을 바로 찾아낼 수 있습니다.

Pegasus 1.2는 영상의 맥락과 감정선까지 이해하는 모델입니다. 단순 객체 인식을 넘어 영상의 주제와 줄거리를 파악하고, 이를 Frame.io의 메타데이터 속성에 요약문과 태그 형태로 자동 기록합니다.

브랜드 가이드라인이나 규제 위반 요소를 감지하면 Frame.io의 코멘트 시스템에 정확한 타임스탬프와 함께 피드백을 남겨주는 컴플라이언스 검수 기능도 함께 제공됩니다.

왜 중요한가

우리는 트웰브랩스의 이번 결정이 창작 현장의 가장 가려운 곳을 긁어준 영리한 행보라고 봅니다.

많은 영상 AI가 별도의 웹 데모 형태로 머물러 있는 반면, 대용량 원본을 다루는 프로덕션 환경에서는 툴을 오가는 것 자체가 커다란 비용입니다. 이미 업계 표준 협업 도구로 자리 잡은 Frame.io 내부로 모델을 직접 이식함으로써 진입 장벽을 완전히 없앴습니다.

방대한 아카이브를 관리해야 하는 방송국이나 광고 대행사는 수작업으로 진행하던 태깅과 소재 탐색 시간을 획기적으로 줄일 수 있을 것으로 보입니다.

다만 대규모 영상 라이브러리를 심층 임베딩하고 Pegasus로 분석하는 과정에서 발생하는 인프라 및 API 비용은 중소 규모 스튜디오에 부담이 될 수 있습니다. 모든 푸티지를 전수 인덱싱할 만한 예산적 타당성이 있는지는 따져봐야 합니다.

그럼에도 Frame.io가 단순한 피드백 수렴 창구를 넘어 지능형 디지털 자산 관리(DAM) 시스템으로 도약하는 계기를 마련했다는 점에서, 향후 다른 영상 협업 툴의 AI 도입 경쟁을 가속할 것으로 보입니다.