스태빌리티 AI, 일관성 개선한 비디오 생성 모델 'SVD 1.1' 공개

정지 이미지를 영상으로 바꾸는 AI를 써본 사람이라면, 인물의 얼굴이 기괴하게 일그러지거나 화면이 거의 멈춘 듯한 결과물에 실망한 적이 있을 것입니다.

이런 한계를 개선하기 위해 Stability AI가 이미지 투 비디오 모델의 업그레이드 버전인 SVD 1.1(Stable Video Diffusion 1.1)을 공개했습니다.

Stability AI의 최고기술책임자(CTO) 톰 메이슨에 따르면, 새 모델은 허깅페이스를 통해 오픈소스로 다운로드할 수 있으며 개발자 플랫폼의 API로도 제공됩니다.

파라미터 최적화로 고질적인 영상 왜곡 줄였다

Stability AI는 지난 2023년 11월 SVD와 SVD-XT 두 가지 비디오 모델을 처음 선보였습니다. 기본 SVD 모델이 4초 동안 최대 14프레임을 생성했고, 확장판인 SVD-XT는 25프레임을 만들어냈습니다.

하지만 기존 모델은 실사감이 떨어지거나 카메라 움직임이 지나치게 느리고, 사람의 얼굴이 심하게 뭉개지는 문제가 잦았습니다. 사용자가 원하는 품질을 얻으려면 복잡한 하이퍼파라미터를 일일이 테스트해야 했습니다.

이번 SVD 1.1은 SVD-XT를 기반으로 미세 조정한 모델입니다. 입력 프레임과 동일한 1024x576 해상도에서 25프레임 분량의 4초 비디오를 생성합니다.

특히 이번 버전은 6FPS와 모션 버킷 ID 127이라는 특정 조건으로 미세 조정을 진행했습니다. 사용자가 일일이 설정을 바꾸지 않아도 가장 안정적인 움직임과 일관성을 뽑아내도록 기본값을 최적화한 셈입니다.

라이선스 정책도 기존과 동일하게 유지됩니다. 연구 목적이라면 허깅페이스에서 무료로 쓸 수 있지만, 상업적으로 배포하려면 월 20달러부터 시작하는 유료 멤버십에 가입해야 합니다.

함께 공개된 API는 25개의 생성 프레임에 보간 프레임을 더해 24fps MP4 형식으로 4초 영상을 내려줍니다. 1024x576 외에도 768x768 정사각형, 576x1024 세로형 등 다양한 해상도와 움직임 강도 조절을 지원합니다.

왜 중요한가

우리는 SVD 1.1이 기술적 도약이라기보다는, 오픈소스 영상 생성의 실패율을 낮춘 실용적인 개선이라고 봅니다.

개발자나 영상 제작자 입장에서 기존 모델은 쓸 만한 장면 하나를 건지기 위해 버려야 하는 연산 비용이 너무 컸습니다. 최적 파라미터를 기본값으로 굳혀 일관성을 높인 만큼, 자체 워크플로를 구축하려는 팀이라면 지금 당장 검토해 볼 가치가 충분합니다.

경쟁 구도 측면에서도 흥미로운 전략이 엿보입니다. 런웨이(Runway)는 멀티 모션 브러시를 선보이고 피카(Pika)는 영상 내 개체를 교체하는 등 웹 기반 편집 기능에 집중하고 있지만, 두 플랫폼 모두 외부 개발자를 위한 API를 열어주지 않고 있습니다.

반면 Stability AI는 가중치 공개와 API 지원을 동시에 내세우며 인프라 역할을 자처하고 있습니다. 서드파티 앱 개발자들에게는 사실상 유일한 표준 선택지로 자리 잡겠다는 전략으로 보입니다.

다만 여전히 4초 길이의 짧은 클립에 머물러 있고, 기존 모델의 구조적 결함이 완전히 사라진 것은 아닙니다. 영상 AI 분야의 경쟁이 점차 더 긴 재생 시간과 복잡한 서사 제어로 넘어가는 상황에서, 마이너 업데이트만으로 빅테크와 후발 주자들의 추격을 얼마나 버텨낼 수 있을지가 관건입니다.