Pika, 영상·음향 동시 생성 모델 'H3 Flex' 오픈소스 공개: 6단계 샘플링 지원

Pika H3 Flex는 MiniMax-H3를 기반으로 사후 학습된 오픈소스 비디오·오디오 생성 모델이다. 가장 큰 특징은 압도적인 생성 속도다. 단 6단계의 샘플링만으로 화면과 32kHz 입체 스테레오 음향을 동시에 만들어내기 때문에, 영상을 먼저 렌더링한 뒤 음향을 따로 합성하는 번거로움이 없다.

출력 해상도는 480p와 768p를 네이티브로 지원하며, 21:9 시네마틱 비율부터 16:9, 9:16, 9:21 세로 비율까지 총 11가지 화면비를 포괄한다. 영상 길이는 24fps 기준 5초에서 15초 사이로 생성할 수 있다. 프레임 그리드 구조에 따라 5초 요청 시 124프레임(약 5.17초), 15초 요청 시 362프레임(약 15.08초)으로 처리된다.

두 개의 어댑터로 구현하는 정밀 제어

일반적인 오일러 샘플링 대신 6단계 노이즈 제거 스케줄을 적용한 이 모델은 용도에 따라 두 가지 전용 어댑터(FL2VA, Ref2VA)를 사용한다.

FL2VA는 텍스트 프롬프트와 시작·종료 프레임 제어를 담당한다. 순수 텍스트 생성은 물론 첫 프레임 지정, 마지막 프레임 지정, 또는 시작과 끝 프레임을 동시에 고정해 그 사이의 자연스러운 움직임과 사운드를 채워 넣는 작업이 가능하다.

Ref2VA는 멀티모달 참조에 특화되어 있다. 한 번에 최대 12개의 참조 파일을 입력받으며, 이미지 최대 9장, 비디오 최대 3개, 독립 오디오 최대 3개까지 조합할 수 있다. 비디오 자체에 포함된 오디오 트랙도 그대로 보존되어 정밀한 카메라 워크와 동작 연출을 유도할 수 있다.

시스템 요구 사양과 실행 방법

로컬 환경에서 직접 구동하기 위한 하드웨어 진입 장벽은 다소 높은 편이다. 베이스 모델 파일 약 210GB에 어댑터 약 5.5GB가 필요해 대용량 저장 공간이 필수적이다.

공식 검증은 단일 NVIDIA H100 80GB GPU에서 이루어졌다. 현재 CLI 도구는 단일 GPU에서 1개 요청을 처리하도록 구현되어 있어, 여러 장의 GPU를 장착해도 단일 작업의 연산이 분산되지는 않는다.

VRAM 부담을 줄이기 위한 CPU 오프로드 옵션도 제공된다. 트랜스포머 가중치를 시스템 메모리에 두고 필요한 블록을 GPU로 순차 전달하는 방식으로, 실행 시간은 늘어나지만 단일 H100 80GB 환경에서 768p 해상도의 15초 영상을 안정적으로 뽑아낼 수 있다.

소스 코드는 GitHub의 Pika-Labs/Pika-H3-Flex 저장소에 Apache-2.0 라이선스로 공개되었으며, 어댑터 가중치는 MiniMax H3 커뮤니티 라이선스를 따른다. Python 3.12, Conda, 또는 Docker 기반의 pika-h3-pro 명령어로 구동할 수 있다. 1080p부터 4K까지의 고화질 업스케일과 개별 오디오 스템 추출은 Pika의 유료 클라우드 API를 통해서만 지원된다.

왜 중요한가

전문 영상 제작자와 크리에이터에게 Pika H3 Flex는 시각 연출을 위한 최적의 프로토타이핑 도구다. 렌더링에 수 분씩 걸리던 기존 모델과 달리, 6단계 샘플링으로 빠르게 초안을 뽑아 장면 구도와 영상 호흡, 음향 연출의 적절성을 즉각 확인할 수 있다.

영상과 오디오를 별도 파이프라인으로 분리하지 않고 단일 생성 단계에서 맞물리게 한 점도 실용적이다. 다만 80GB급 기업용 GPU 환경을 요구하는 만큼, 일반 개인 창작자보다는 고성능 컴퓨팅 자원을 보유한 프로덕션 팀과 AI 엔지니어들에게 우선적으로 권할 만한 도구다.