OpenCV 창립자들의 CraftStory, 5분 길이 AI 비디오 모델 'Model 2.0' 공개

지금의 AI 비디오 도구들은 잠깐 시선을 끄는 5초짜리 영상에는 능하지만, 튜토리얼이나 제품 시연처럼 호흡이 긴 영상을 만들기엔 턱없이 부족합니다. OpenAI의 Sora 2조차 최대 25초에 머물고 있습니다.

전 세계에서 가장 널리 쓰이는 컴퓨터 비전 라이브러리 OpenCV의 창립자들이 이 문제를 풀기 위해 나섰습니다. 이들이 설립한 스타트업 CraftStory는 화요일 스텔스 상태에서 벗어나며, 사람 중심의 자연스러운 영상을 최대 5분 동안 끊김 없이 생성하는 Model 2.0을 공개했습니다.

주목할 점은 자금 규모입니다. 대형 연구소들이 수조 원대 자본을 쏟아붓는 사이, CraftStory는 Wrike 창업자인 Andrew Filev로부터 유치한 200만 달러의 초기 투자금만으로 이 같은 성과를 냈습니다.

병렬 확산으로 해결한 5분의 벽

기존 영상 생성 모델이 길이를 늘이지 못했던 이유는 순차적 생성 방식 때문이었습니다. 시간을 따라 앞부분부터 영상을 이어 붙이다 보면, 초반에 발생한 손가락 뒤틀림이나 얼굴 왜곡 같은 결함이 뒤로 갈수록 눈덩이처럼 불어나 결국 영상 전체가 무너집니다.

CraftStory 창업자이자 CEO인 Victor Erukhimov는 병렬 확산 아키텍처라는 완전히 다른 해법을 들고나왔습니다. 5분짜리 영상 전체에 걸쳐 여러 개의 작은 확산 알고리즘을 동시에 실행하고, 이들을 양방향 제약 조건으로 묶었습니다. 영상 뒷부분의 맥락이 앞부분의 생성에도 영향을 미치도록 만들어 왜곡이 누적되는 문제를 원천 차단한 것입니다.

학습 데이터 접근법도 남다릅니다. 인터넷에 떠도는 저화질 영상을 무작위로 긁어모으는 대신, 직접 스튜디오를 빌려 고프레임률 카메라로 전문 배우들의 움직임을 촬영했습니다. 일반적인 30프레임 영상 특유의 모션 블러를 없애 손가락처럼 빠르게 움직이는 디테일을 선명하게 학습시켰습니다.

현재 Model 2.0은 비디오 투 비디오 방식으로 작동합니다. 사용자가 인물 정지 이미지 한 장과 움직임을 안내할 드라이빙 영상을 넣으면 AI가 이를 재현합니다. 사용자가 직접 영상을 올릴 수도 있고, 플랫폼이 제공하는 전문 배우 프리셋을 선택할 수도 있습니다. 프리셋이 사용되면 해당 배우에게 수익이 배분됩니다. 음성에 맞춘 립싱크와 말의 어조에 어울리는 제스처 정렬 기능도 지원합니다.

다만 속도는 아직 극복해야 할 과제입니다. 현재 시스템에서는 30초짜리 저해상도 영상을 렌더링하는 데 약 15분이 걸립니다.

왜 중요한가

우리는 CraftStory가 매우 실용적인 틈새를 영리하게 공략했다고 봅니다. 모든 물리 법칙을 구현하려는 거창한 시도 대신, 기업 교육, 마케팅, 고객 안내처럼 사람이 길게 말해야 하는 명확한 비즈니스 수요에 집중했기 때문입니다.

실제 활용 측면에서 보면, 30초 생성에 15분이 걸리는 현 단계는 일반인이 가볍게 써보기엔 기다림의 대가가 큽니다. 당장은 고정된 매뉴얼을 영상화해야 하는 기업 고객을 중심으로 도입이 검토될 것으로 보입니다. 다만 배우의 모션 데이터에 저작권료를 지급하는 방식은 향후 상업적 활용에서 큰 강점이 될 수 있습니다.

업계 전체에는 거대한 메시지를 던집니다. OpenAI가 최근 한 라운드에서만 60억 달러 이상을 끌어모았지만, 단 200만 달러를 쥔 소수 정예 팀이 고품질 데이터와 병렬 설계만으로 영상 길이 한계를 먼저 넘어섰습니다. 무작정 연산 자원만 쏟아붓는 방식이 유일한 정답이 아님을 증명한 만큼, 빅테크들도 순차적 영상 생성 방식을 재검토하게 될 것으로 보입니다.