스마트폰에서 직접 도는 영상 생성 AI 'Mobile-Wan': 20초 만에 5초 영상 완성

Mobile-Wan은 퀄컴 AI 리서치가 공개한 온디바이스 비디오 생성 오픈소스 시스템이다. 고가의 클라우드 GPU나 외부 네트워크 연결 없이, 상용 스마트폰 본체에서 텍스트 프롬프트만으로 영상을 만들어낸다.

프롬프트를 입력하면 기기 내에서 약 20초 만에 5초 길이의 480x832 해상도, 초당 16프레임 영상을 출력한다. 허깅페이스에 올라온 전체 모델 가중치 파일 용량은 9.9GB로, 스마트폰 내부 저장공간에 무리 없이 들어가는 수준이다.

50억 매개변수를 스마트폰에 집어넣은 방법

기존 온디바이스 비디오 모델들은 하드웨어 한계 때문에 매개변수를 4억에서 18억 개 수준으로 크게 낮춘 모델을 주로 사용했다. 하지만 모델이 지나치게 작으면 영상의 디테일과 시간적 일관성이 크게 떨어진다. 연구진은 알리바바의 50억 매개변수 모델인 Wan2.2-5B를 출발점으로 삼고 구조적인 압축 기술을 적용했다.

핵심은 청크 단위의 순환 생성 구조다. 전체 프레임을 한 번에 연산하지 않고 비디오를 작은 단위로 쪼개어 생성하며, 인과적 선형 어텐션을 결합해 추론 시 모델이 RNN처럼 동작하도록 만들었다. 덕분에 메모리 점유율을 일정하게 유지하면서도 청크 사이의 시간적 흐름을 유지한다.

여기에 비디오 DiT에 특화된 어텐션 헤드 가지치기 기법을 적용해 기여도가 낮은 헤드들을 과감하게 잘라냈다.

마지막으로 일반적인 비디오 디퓨전 모델이 20~30단계를 거쳐 이미지를 생성하던 과정을 단 3단계로 줄이는 스텝 증류를 적용했다. 메모리 효율을 극대화한 VAE 디코더까지 더해져 전체 지연 시간이 약 20초로 단축됐다. 비디오 벤치마크인 VBench 점수는 83.79점을 기록하며 모바일 비디오 생성 분야 최고 성능을 갱신했다.

사용 방법과 한계

프로젝트 코드와 모델 가중치, 기술 논문은 모두 오픈소스로 공개되어 있다. 프로젝트 메인 페이지에서 코드 링크를 클릭해 스크롤을 내리면 스마트폰에 다운로드하고 실행하는 상세 안내를 확인할 수 있다.

다만 완전한 무결함을 기대하기는 이르다. 연구진이 공개한 실패 사례에서도 볼 수 있듯, 복잡한 움직임이나 급격한 카메라 앵글 변화가 있을 때는 청크 간 시간적 일관성이 깨지며 일부 왜곡이 나타날 수 있다.

왜 중요한가

Mobile-Wan은 온디바이스 AI 생태계에 중요한 방향성을 보여준다. 모바일 환경이라고 해서 처음부터 체급이 낮은 모델을 만들 필요 없이, 검증된 50억 급 서버용 모델을 정교하게 깎아내는 방식이 훨씬 완성도 높은 결과를 낸다는 점을 입증했다.

로컬 환경에서 영상 생성 파이프라인을 구축하려는 모바일 개발자라면 지금 당장 살펴볼 가치가 충분하다. 클라우드 서버 비용과 네트워크 지연 없이 기기 내부에서 동작하는 비디오 편집 툴의 현실적인 가능성을 열어준 셈이다.