바이트댄스, 단일 H100서 실시간 긴 영상 만드는 '헬리오스' 오픈소스 공개

헬리오스는 바이트댄스가 오픈소스로 공개한 14B 규모의 실시간 긴 영상 생성 모델이다. 단일 엔비디아 H100 GPU 환경에서 초당 19.5프레임 속도로 최대 1분 길이의 영상을 화풍 붕괴 없이 연속으로 뽑아낸다.

무엇을 할 수 있나

헬리오스는 텍스트 투 비디오, 이미지 투 비디오, 비디오 투 비디오 작업을 기본적으로 모두 지원한다.

가장 눈에 띄는 부분은 압도적인 속도다. 터미널 데모에서는 30프레임이 넘는 영상 클립을 2초도 안 되는 시간에 렌더링해 낸다. 증류 버전의 생성 속도는 19.5 FPS 안팎으로, 실시간 재생 규격에 바짝 다가섰다.

장시간 생성 시 화풍을 유지하는 능력도 뛰어나다. 기존 실시간 영상 모델들은 몇 초만 지나도 노이즈가 급증하거나 동작이 무한 반복되는 품질 왜곡에 빠지기 쉬웠다. 헬리오스는 최대 1분 동안 안정된 스타일을 지켜낸다.

실시간 속도를 추구한 만큼 세부 묘사가 아주 날카롭지는 않고 약간의 노이즈가 보이지만, 기존의 실시간 생성 결과물보다는 확실히 낫고 일부 비실시간 모델들과도 견줄 만한 화질을 보여준다.

구현 방식과 요구 사양

헬리오스는 14B 매개변수를 지닌 자기회귀 확산 모델을 뼈대로 삼는다.

기술적으로 눈에 띄는 점은 KV 캐시나 희소 어텐션, 양자화 같은 전형적인 가속 기법에 매달리지 않았다는 것이다. 이전 프레임과 노이즈 문맥을 대폭 압축하고 샘플링 단계를 줄여, 14B 모델의 연산 비용을 1.3B 모델 수준으로 크게 덜어냈다.

긴 영상에서 발생하는 화질 드리프트 문제 역시 별도의 외부 오차 보정 기법 대신, 학습 과정에서 의도적으로 왜곡 상황을 시뮬레이션해 반복 동작의 싹을 잘라내는 방식으로 해결했다.

다만 초당 19.5프레임이라는 속도를 온전히 내려면 엔비디아 H100이 필요해 하드웨어 진입 장벽은 다소 높다. 하지만 메모리 최적화가 잘 되어 있어 복잡한 분산 프레임워크 없이도 80 GB 메모리 카드 한 장에서 대규모 배치를 소화할 수 있다.

현재 깃허브 저장소에 추론 파이프라인과 로컬 설치 가이드, 훈련 코드가 모두 공개되어 있으며 베이스 모델과 증류 모델 가중치도 제공될 예정이다.

왜 중요한가

고성능 GPU 자원을 다룰 수 있는 엔지니어와 팀이라면 헬리오스는 지금 바로 가져다 테스트해 볼 가치가 충분하다. 단 한 장의 GPU로 14B 모델을 돌리며 실시간에 가까운 속도로 1분 길이 영상을 뽑아낼 수 있음을 입증했기 때문이다.

우리는 헬리오스가 오픈소스 영상 생성을 느린 배치 렌더링 단계에서 실시간 인터랙티브 환경으로 이끄는 실질적인 전환점이 될 것으로 본다.