런웨이, 570억 파라미터 실시간 비디오 모델 요구 GPU 절반 감축

실시간 비디오 대화에서 화면이 반 초만 끊겨도 가상 캐릭터와의 몰입감은 즉시 깨져버립니다.

Runway는 단일 이미지로 대화형 캐릭터를 만드는 Runway Characters의 최적화 연구 논문을 공개했습니다. 핵심은 약 570억(57B) 파라미터의 비디오 확산 트랜스포머 모델을 구동하는 데 필요한 하드웨어를 기존 세션당 H100 8장에서 4장으로 절반 줄이면서도 24fps 실시간 스트리밍을 유지했다는 점입니다.

반복되던 캐시 연산을 쓰기 시점으로 단일화

대규모 모델 서비스는 대개 여러 요청을 묶는 배치(batching) 처리로 비용을 낮춥니다. 하지만 1:1 대화형 비디오는 각 사용자가 독립된 스트림을 쓰기 때문에 배치 크기를 1로 유지해야만 합니다.

24fps를 유지하려면 166.7ms마다 4프레임짜리 비디오 청크를 새로 생성해야 합니다. 그러나 H100 4장 환경에서 초기 소프트웨어의 확산 스텝당 소요 시간은 240.9ms로 기준치를 크게 웃돌았습니다.

원인을 분석한 결과 GPU 시간의 29%가 거의 변하지 않는 캐시를 반복 처리하는 데 낭비되고 있었습니다. 스텝당 240번의 어텐션 호출마다 RoPE 위치 인코딩을 다시 적용하고, FP8로 재양자화하며, 메모리를 복사해 윈도우를 옮겼기 때문입니다.

Runway는 캐시를 링 버퍼 형태로 변경하고, 새 프레임이 캐시에 들어오는 시점에 RoPE와 FP8 양자화를 단 한 번만 수행하도록 바꿨습니다. 이 조치만으로 캐시 유지 시간은 스텝당 69.7ms에서 6.2ms로 대폭 줄었습니다.

통신 커널 융합과 운영 환경에서의 난관

다음 병목은 텐서 병렬 처리에 뒤따르는 all-reduce 통신이었습니다. Runway는 FP8 행렬 곱셈과 통신 커널을 하나로 융합해, 연산 타일이 완료되는 즉시 NVLink 스위치에서 통신이 일어나도록 만들었습니다. 이를 통해 통신 시간의 54~68%를 연산 뒤로 숨기며 스텝 시간을 147.4ms까지 낮췄습니다.

여기에 114ms가 걸리는 비디오 디코더를 별도 GPU로 분리해 확산 연산과 겹쳐서 실행하도록 파이프라인을 설계했습니다.

운영 중 겪은 치명적인 버그도 공개됐습니다. FP8 스케일을 모니터링하려고 무심코 추가한 단 한 줄의 .item() 호출이 CPU와 GPU 동기화를 유발해, 스텝 시간을 순식간에 278ms로 폭증시키며 앞선 최적화 노력을 통째로 무력화시키기도 했습니다.

왜 중요한가

개발자와 기업 입장에서 이번 성과는 실시간 비디오 아바타의 상용화 문턱을 현실적인 수준으로 낮췄다는 의미를 갖습니다. 57B 크기의 거대 비디오 모델을 세션당 H100 4장으로 구동할 수 있다면 클라우드 인프라 비용을 절반으로 절감해 서비스 지속 가능성을 확보할 수 있습니다.

업계 전체로 보면, 비디오 생성 AI의 경쟁 축이 오프라인 클립 렌더링에서 '배치 크기 1 기반의 초저지연 스트리밍'으로 옮겨가고 있음을 보여줍니다. 거대 모델의 추론 파이프라인을 극한까지 튜닝한 이번 사례는 경쟁사들에도 중요한 기준점이 될 것입니다.

다만 완전한 상호작용까지는 갈 길이 남았습니다. Runway가 측정한 실제 대화 지연 시간의 중앙값은 2.13초였는데, 비디오 파이프라인은 0.49초에 불과했지만 음성 에이전트가 1.42초를 차지했습니다. 인간의 자연스러운 대화 공백이 평균 208ms 수준인 점을 감안하면, 진짜 사람 같은 대화를 완성하기 위한 다음 과제는 음성 모델의 반응 속도에 달려 있다고 판단됩니다.