허깅페이스, 오픈소스 모델로 24시간 자동 방송하는 'AI WebTV' 공개

AI WebTV는 여러 오픈소스 생성 AI 모델을 파이프라인으로 연결해 24시간 끊김 없이 영상을 자동 생성하고 송출하는 실험적 테크 데모 프로젝트다. 인간이 설정한 기본 아이디어를 대형 언어 모델이 장면별 프롬프트로 확장하고, 오픈소스 비디오 모델로 영상을 만든 뒤 프레임 보간과 음악 합성을 거쳐 라이브 스트림으로 송출한다.

파이프라인 작동 방식

전체 시스템은 Node.js와 TypeScript로 개발되었으며, Hugging Face Spaces에 배포된 오픈소스 모델들을 호출하는 방식으로 작동한다.

첫 단계는 대본 작성이다. 사람이 입력한 기본 콘셉트를 ChatGPT에 전달해 여러 장면을 구성할 개별 영상 프롬프트 목록으로 자동 확장한다.

영상 생성의 중심에는 ModelScope 기반 오픈소스 모델인 Zeroscope V2가 있다. 먼저 zeroscope_v2_576을 사용해 576x320 해상도의 기본 클립을 생성한 뒤, 동일한 프롬프트를 유지한 채 zeroscope_v2_XL로 1024x576 해상도로 업스케일링하는 2단계 방식을 거친다.

빠른 프로토타이핑을 위해 시스템은 @gradio/client 패키지를 사용해 Hugging Face Spaces의 Gradio API를 원격 호출하며, 렌더링된 영상 파일은 로컬 스토리지로 내려받는다.

생성된 영상 클립은 후처리 단계로 넘어간다. 프레임 간 끊김을 줄이고 카메라 움직임을 자연스럽게 만들기 위해 프레임 보간 알고리즘인 FILM을 적용한다. 이와 동시에 오픈소스 오디오 모델 MusicGen을 호출해 배경음악을 생성하고 영상과 결합한다.

마지막으로 FFmpeg를 이용해 생성된 mp4 영상과 m4a 음원들을 재생 목록으로 묶는다. 이를 지연 시간이 짧은 FLV 스트림으로 변환한 뒤, RTMP 프로토콜을 통해 자체 node-media-server나 Twitch 엔드포인트로 실시간 송출한다.

결과물과 한계점

업스케일링과 FILM 프레임 보간을 결합하면서 화질과 움직임의 부드러움은 눈에 띄게 개선되었지만, 현세대 오픈소스 비디오 모델의 한계도 분명히 드러난다.

동작 방향 오류가 대표적이다. 영상 속 움직임이 거꾸로 재생되는 것처럼 렌더링되거나, 프롬프트에 지정한 색상 키워드가 무시되는 현상이 종종 발생한다.

프롬프트 텍스트가 시각 요소로 그대로 새겨지는 문제도 있다. 예를 들어 프롬프트에 llama를 넣었을 때 동물 라마뿐만 아니라 불타는 알파벳 llama라는 글자가 화면에 직접 새겨지거나, IMAX나 특정 카메라 기종명을 넣으면 카메라 본체가 프레임 안에 튀어나오기도 한다.

이를 줄이려면 프롬프트 작성 시 카메라의 앵글, 이동 방향, 속도를 구체적으로 명시해야 하며, 연속된 장면 간에 일관된 묘사 키워드를 유지해야 한다고 설명한다.

체험 및 구축 방법

실시간 송출 결과는 Hugging Face의 AI WebTV Space에서 바로 시청할 수 있으며, 모바일에서는 Twitch 미러 스트림을 통해서도 볼 수 있다.

직접 파이프라인을 구축해 운영하고자 한다면 프로젝트에 사용된 Zeroscope나 MusicGen의 Gradio Space를 본인 계정으로 복제해 사용하는 것이 권장된다. 공용 Space는 트래픽 과부하로 대기열이 길어지거나 일시 중지될 수 있기 때문이다.

왜 중요한가

AI WebTV의 의의는 고가의 독점 모델이나 폐쇄형 API 없이, 커뮤니티에 공개된 오픈소스 모델만 엮어서 완전 자율형 엔드투엔드 방송 파이프라인을 구축할 수 있음을 입증했다는 점이다. 생성형 미디어 파이프라인이나 자동화된 영상 제작 워크플로를 연구하는 개발자에게 실질적인 청사진을 제공한다.

다만 어디까지나 초기 기술 시연에 가깝다. 개별 클립 길이가 짧고 서사적 일관성이 부족하며, 영상 생성과 업스케일링 및 보간에 드는 연산 비용을 고려하면 실시간 방송으로서의 완성도를 갖추기까지는 해결해야 할 과제가 많다.