트웰브랩스, 영상 이해 파운데이션 모델 '페가수스-1' 공개

대다수 AI 모델이 동영상을 이해하는 방식은 여전히 투박합니다. 영상을 수천 장의 정지 이미지로 잘게 쪼개 비전 모델에 집어넣거나, 소리만 텍스트로 바꾸는 식입니다.

이런 방식은 1분 미만의 짧은 클립에서는 통할지 몰라도, 몇십 분이나 몇 시간에 달하는 긴 영상에서는 연산 비용이 치솟고 프레임 사이의 움직임과 배경 소음 같은 핵심 맥락을 완전히 놓치게 됩니다.

멀티모달 비디오 이해 기술을 개발하는 트웰브랩스(Twelve Labs)가 이를 해결하기 위해 800억 개(80B) 파라미터 규모의 비디오-언어 파운데이션 모델인 Pegasus-1을 공개했습니다. 프롬프트 기반의 비디오 투 텍스트(Video-to-Text) 생성 기능도 함께 선보였습니다.

이미지가 아닌 동영상 자체를 학습하다

트웰브랩스는 이미지를 먼저 처리하는 기존 방식 대신 '비디오 퍼스트' 전략을 내세웠습니다. 비디오를 단순한 사진 묶음이 아니라 시각 정보, 음성, 배경 오디오가 유기적으로 엮인 독립된 매체로 다루겠다는 뜻입니다.

Pegasus-1은 기존 Marengo 임베딩 모델을 기반으로 한 비디오 인코더, 비디오-언어 정렬 모델, 텍스트를 출력하는 대규모 언어 모델 디코더의 세 단계 구조로 설계되었습니다. 각 구성 요소별 구체적인 파라미터 비중은 공개되지 않았습니다.

시각과 음성, 오디오 신호를 통합 처리함으로써 단 한 번의 API 호출로 영상 전체의 맥락을 분석하며, 동영상 요약 벤치마크에서 최고 성능을 기록했다고 밝혔습니다.

개발자가 손쉽게 활용할 수 있도록 API는 세 가지 형태로 나뉘어 제공됩니다.

Gist API는 별도의 프롬프트 없이도 영상의 핵심 주제, 제목, 연관 해시태그 목록을 바로 뽑아냅니다.

Summary API 역시 기본 탑재된 프롬프트를 통해 긴 영상을 챕터별로 나누고 핵심 요약과 하이라이트를 정리해 줍니다.

더 정교한 결과물이 필요한 사용자를 위한 실험용 Generate API도 마련되어, 프롬프트 입력에 따라 불릿 포인트 보고서나 영상 기반의 가사 등 다양한 서식으로 텍스트를 만들어낼 수 있습니다.

왜 중요한가

우리는 트웰브랩스가 기존 멀티모달 모델들의 명확한 약점을 정확히 파고들었다고 봅니다. 화면 속에서 말없이 진행되는 작업이나 미세한 시각적 단서는 기존의 음성 전사 중심 파이프라인에서 완전히 누락되곤 했는데, 이를 통합 처리하는 모델의 필요성은 분명했습니다.

긴 인터넷 강의 정리, 팟캐스트 요약, 미디어 아카이브 검색 등을 개발하는 팀에게 Pegasus-1은 매우 매력적인 대안입니다. 복잡하게 영상 프레임을 추출하고 자막을 매칭하던 번거로운 파이프라인을 API 호출 하나로 끝낼 수 있어 개발 비용과 시간을 크게 아낄 수 있습니다.

관건은 80B라는 파라미터 규모에 따른 추론 비용과 지연 시간입니다. 동영상 데이터 자체가 워낙 무거운 만큼, 대량의 기업용 영상을 지속해서 처리할 때 감당할 수 있는 가격 정책과 반응 속도를 제공할 수 있을지가 실제 도입을 좌우할 것입니다.

그럼에도 프레임 캡처에만 의존하던 기존 영상 이해 기술의 한계를 넘어선 것은 분명해 보이며, 향후 버티컬 영상 AI 경쟁에서 중요한 기준점을 세웠다고 평가할 만합니다.