실시간 디지털 휴먼 생성 모델 'FlowAct-R1' 공개: 25fps로 무제한 생성

현재 라이브 커머스에 쓰이는 디지털 휴먼은 미리 녹화해 둔 동작을 반복 재생하거나, 시청자 질문에 답할 때 몇 초씩 멈칫거리는 경우가 많습니다.

지연 시간을 낮추면서 긴 시간 동안 얼굴이 일그러지지 않는 실시간 영상 생성은 기술적 난제로 꼽혀 왔습니다. 연구진이 공개한 인터랙티브 디지털 휴먼 모델 'FlowAct-R1'은 바로 이 문제를 해결하고자 개발되었습니다.

공개된 연구 결과에 따르면, FlowAct-R1은 480p 해상도에서 25fps 실시간 스트리밍 생성을 구현했습니다. 첫 프레임 생성 지연 시간(TTFF)은 약 1.5초에 불과하며, 시간제한 없는 무제한 생성을 지원합니다.

사람을 대상으로 한 선호도 평가에서도 실시간 스트리밍 속도, 무제한 지속력, 동작의 자연스러움 모두 기존 SOTA 모델을 앞섰습니다.

무거운 모델을 실시간 엔진으로 바꾼 설계

품질이 뛰어난 DiT 기반 영상 모델은 전체 어텐션을 계산해야 하므로 실시간 대화에 적용하기에는 너무 느렸습니다.

FlowAct-R1은 자기회귀 적응 기법을 사용해 기본 DiT를 스트리밍 자기회귀 모델로 전환했습니다. 여기에 다단계 확산 증류(Diffusion Distillation)를 더해 추론 단계를 크게 줄였습니다.

입 모양이 어긋나거나 몸동작이 굳어지는 문제를 해결하기 위해 오디오와 모션을 함께 미세조정했습니다. 음성에 맞춰 입술뿐만 아니라 자연스러운 제스처와 고개 움직임이 함께 만들어집니다.

장시간 생성 시 캐릭터 얼굴이 망가지는 현상은 추론 단계의 구조화된 메모리 뱅크로 잡았습니다.

참조 메모리, 장단기 메모리, 노이즈 제거 스트림을 조합해 청크 단위로 영상을 생성하고 메모리를 보정함으로써, 아무리 오랫동안 생성해도 원래의 외형과 자세를 유지합니다.

왜 중요한가

우리는 FlowAct-R1의 핵심 경쟁력이 단순한 화질 경쟁을 넘어 실시간 대화에 필요한 반응 속도를 확보한 데 있다고 봅니다.

480p 해상도가 다소 낮아 보일 수 있지만, 25fps 속도로 지연 시간을 1.5초까지 줄인 것은 실무 적용 관점에서 매우 영리한 선택입니다. 스마트폰 화면 중심의 라이브 커머스나 실시간 영상 상담에서는 화질보다 끊김 없는 즉각적인 반응이 훨씬 중요하기 때문입니다.

크리에이터와 기업 입장에서는 사전에 영상을 렌더링해 둘 필요 없이 시청자와 실제로 소통하는 실시간 가상 방송을 24시간 운영할 수 있는 길이 열렸습니다.

산업 전반으로도 디지털 휴먼 기술의 기준이 오프라인 고화질 렌더링에서 실시간 스트리밍 대화형 모델로 넘어가는 계기가 될 것입니다.

다만 대규모 상용화 단계에서 동시 접속자가 몰릴 때의 GPU 연산 비용을 얼마나 감당할 수 있을지는 앞으로 검증해야 할 숙제입니다.