미니맥스 H3 공개: 2K 해상도 입체 음향 영상 생성, 가중치 오픈소스화

AI로 영상을 만들어 본 사람이라면 작업 과정이 얼마나 번거로웠는지 잘 알 겁니다. 이미지 모델로 컷을 뽑고, 이를 다시 비디오 모델로 움직이게 한 뒤, 별도 오디오 툴로 음악과 효과음을 얹어야 했습니다. 도중에 카메라 구도를 비트에 맞춰 바꾸고 싶다면 처음부터 다시 시작하는 수밖에 없었습니다.

미니맥스가 이 같은 번거로운 단계를 하나로 묶은 범용 옴니모달 생성 모델 H3를 공식 발표했습니다. 하이뤄 AI(Hailuo)를 선보였던 미니맥스는 텍스트, 이미지, 비디오, 오디오를 단일 컨텍스트 안에서 통합 처리하도록 설계했습니다. 특히 대형 상용 모델들이 폐쇄적으로 지배해 온 비디오 시장에서, 며칠 내로 모델 가중치를 오픈소스로 공개하겠다고 선언하며 차별화를 꾀했습니다.

프롬프트 하나로 4가지 모달리티 통합

H3의 핵심은 텍스트, 이미지, 영상, 오디오를 동시에 이해하고, 네이티브 입체 음향을 갖춘 최대 2K 해상도, 최장 15초 길이의 영상을 만들어낸다는 점입니다.

기존 영상 생성 모델들은 텍스트-비디오, 이미지-비디오, 모션 참조, 오디오 생성 등 기능별 전용 모델로 잘게 쪼개져 있었습니다. H3는 이 경계를 허물고 자연어를 모달리티 간의 가교로 삼았습니다.

예를 들어 사용자는 "영상 1의 히치콕식 카메라 워크를 참고하고, 이미지 2의 인물이 노래하게 하되, 보컬은 오디오 3과 맞추라"는 식의 복합 명령을 내릴 수 있습니다. 모델이 입력 자료들 사이의 관계를 스스로 파악해 하나의 결과물로 엮어냅니다.

크리에이터들의 초기 테스트에서도 인상적인 결과가 확인되었습니다. 두 장의 콘티 이미지와 로고를 넣어 명품 핸드백 광고를 제작하거나, 크로마키 영상과 배경을 합성하는 작업을 매끄럽게 처리했습니다. 오디오 트랙과 캐릭터 이미지를 주고 3초 박자에 맞춘 화면 전환을 지시했을 때도 칼같이 비트를 타는 뮤직비디오를 완성했습니다.

별도 업스케일러를 버린 인컨텍스트 재생성

이 같은 복합 작업을 효율적으로 처리하기 위해 미니맥스는 모델 뼈대를 대폭 손질했습니다.

다양한 모달리티가 섞이면 입력 시퀀스가 급격히 길어집니다. H3는 전용 파이프라인을 통해 약 10만 토큰 분량의 추론 입력을 평균 4000 토큰 수준으로 압축해 다룹니다.

아키텍처에서는 기존 하이뤄 02의 설계를 과감히 버리고 H3-옴니 트랜스포머(H3-Omni Transformer)를 도입했습니다. 이해와 생성에 필요한 연산 특성을 분리해 하드웨어 효율을 맞춤 최적화함으로써 학습 처리량을 30%가량 끌어올렸습니다.

2K 화질을 구현하는 방식도 독특합니다. 저해상도 영상을 먼저 만든 뒤 별도의 초해상화 모듈을 덧붙이는 일반적인 방식은 글자나 로고 같은 미세 디테일을 왜곡하기 쉽습니다. H3는 베이스 모델이 원래의 멀티모달 컨텍스트를 다시 참조해 고해상도로 다시 그리는 '인컨텍스트 재생성(In-Context Regeneration)'을 적용했습니다. 덕분에 작은 글씨나 브랜드 표현력의 손실을 크게 줄였습니다.

비용 절감도 두드러집니다. 미니맥스는 2K 기준 초당 생성 단가가 기존 주류 상용 모델의 3분의 1 미만이라고 밝혔습니다. 유튜브 리뷰어의 실제 측정에 따르면 웹에서 10초짜리 영상을 만드는 데 120크레딧(약 1.2달러)이 소요되어, 바이트댄스의 상용 서비스 대비 3배 가까이 저렴한 것으로 나타났습니다.

왜 중요한가

크리에이터와 개발자 입장에서 H3는 폐쇄적인 비디오 생성 생태계에 던져진 반가운 균열입니다. 2K 해상도와 입체 음향, 높은 프롬프트 추종력을 갖춘 비디오 모델은 그동안 철저히 상용 API에 갇혀 있었습니다. 가중치가 오픈소스로 풀리면 스튜디오나 독립 개발사는 광고, 이커머스 콘텐츠, 게임 리소스 제작 파이프라인을 외부 플랫폼 제약 없이 자체 인프라에 직접 구축할 수 있게 됩니다.

업계 전반으로 봐도 단일 모델 안에서 영상과 음향을 동시에 뽑아내는 옴니모달 구조로의 전환을 크게 자극할 것으로 보입니다. 여러 도구를 덕지덕지 이어 붙이던 기존 파이프라인에 비해 구조적 완성도와 효율성 면에서 앞서가기 때문입니다.

우리는 자연어를 중심으로 모든 모달리티의 작업을 일반화한 미니맥스의 방향 설정이 매우 영리하다고 평가합니다. 다만 미니맥스 스스로 밝혔듯 복잡한 장면에서의 시각적 세부 묘사는 아직 보완할 여지가 남아 있습니다. 또한 며칠 내로 공개될 가중치가 일반적인 하드웨어 환경에서 얼마나 쾌적하게 구동될 수 있을지가 H3의 실제 파급력을 가늠할 진짜 시험대가 될 것입니다.