KAIST, 립포싱 공개: 2단계 확산으로 31 FPS 실시간 립싱크 구현

영상 속 인물의 입모양을 새로운 오디오에 맞춰 자연스럽게 바꾸는 작업은 생각보다 훨씬 까다롭습니다.

기존의 가벼운 모델을 쓰면 속도는 나오지만 입술만 부자연스럽게 떠 보이고, 고품질 확산 모델을 쓰면 화면은 자연스러워도 1초짜리 영상을 만드는 데 수십 초가 걸려 실시간 대화나 라이브 방송에는 쓸 수가 없었습니다.

KAIST AI와 인공지능 스타트업 AIPARK 연구진은 비디오 간(V2V) 립싱크를 위한 첫 자기회귀 확산 모델 'Lip Forcing'을 공개하며 이 딜레마에 정면으로 도전장을 던졌습니다.

2단계 디노이징으로 압축, 속도는 최대 40배 향상

Lip Forcing의 핵심은 수십 번에 걸쳐 노이즈를 제거하던 확산 과정을 단 2단계로 줄여버린 데 있습니다.

연구진은 먼저 뛰어난 화질과 동기화 성능을 갖춘 14B 양방향 교사 모델을 학습시켰습니다. 그런 다음 지식 증류 기법을 적용해 실제 서비스에 쓸 수 있는 1.3B와 14B 크기의 인과적 학생 모델을 만들어냈습니다.

단일 H100 GPU 환경에서 측정한 결과, 1.3B 학생 모델의 추론 속도는 31.58 FPS를 기록했습니다. 같은 규모의 양방향 모델 대비 17.6배 빨라졌을 뿐 아니라, 실시간 영상의 기준선인 25 FPS를 가뿐히 넘겼습니다. 첫 프레임 생성 지연 시간도 0.32초에 불과합니다.

더 정교한 표현이 가능한 14B 모델 역시 15.11 FPS를 달성하며 OmniAvatar 같은 기존 거대 모델보다 약 40배 빠르고, LatentSync 대비 4.7배 높은 처리량을 보여줬습니다.

원본 화질과 싱크 사이의 줄타기를 풀다

확산 기반 립싱크에서는 늘 CFG(분류기 없는 유도) 척도가 골칫거리였습니다. 유도 강도를 높이면 입모양은 오디오에 칼같이 맞지만 얼굴 형태가 뭉개지고, 강도를 낮추면 얼굴은 온전하지만 입술 싱크가 어긋났기 때문입니다.

Lip Forcing은 이 궤적을 둘로 쪼갰습니다. 첫 번째 스텝에서는 유도를 적용하지 않고 원본 얼굴의 특징을 고스란히 지켜내며 목표 지점으로 이동하고, 두 번째 스텝에서 강한 유도를 걸어 입술 위치를 소리에 맞춰 밀착시킵니다.

여기에 7개 프레임 분량의 캐시만 유지하는 슬라이딩 윈도우 어텐션 구조를 결합해, 전체 영상을 미리 읽지 않고도 오디오가 들어오는 족족 실시간 스트리밍 방식으로 화면을 뽑아내도록 설계했습니다.

왜 중요한가

우리는 Lip Forcing이 실시간 AI 인터랙션 분야의 중요한 전환점을 마련했다고 봅니다.

실시간 외국어 더빙, 라이브 방송용 디지털 휴먼, 게임 속 NPC와의 실시간 대화 등은 늘 화질과 반응 속도 사이에서 타협해야 했습니다. 1.3B 규모의 모델로 31 FPS의 실시간 벽을 깼다는 사실은, 이제 고품질 확산 모델도 지연 시간 없는 인터랙티브 서비스에 투입될 준비가 끝났음을 보여줍니다.

현재 수치는 H100이라는 고성능 인프라에서 측정되었기에 당장 일반 PC에서 돌리기는 어렵지만, 2단계 디노이징이라는 구조적 혁신 덕분에 향후 경량화 가능성도 매우 큽니다. 화질 손상 없이 속도를 40배 가까이 끌어올린 이번 증류 방식은 비디오 생성 기술 전반에 적잖은 영향을 미칠 것으로 보입니다.