LeapTalk, 단일 단계 증류로 최대 200 FPS 실시간 디지털 휴먼 생성

실시간 디지털 휴먼이나 대화형 아바타를 제작해 본 사람이라면 누구나 딜레마를 겪어봤을 것입니다. 화질이 뛰어난 확산 모델은 수십 번의 디노이징 단계를 거쳐야 해 지연 시간이 너무 길고, 속도가 빠른 자기회귀 모델은 시간이 지날수록 얼굴 형태가 무너지는 문제가 발생하기 때문입니다.

연구진이 공개한 새로운 프레임워크 LeapTalk는 바로 이 오래된 난제를 해결하기 위해 등장했습니다. 인물 사진 한 장과 음성 파일만 넣으면 입모양이 정확히 동기화된 말하는 아바타 영상을 거의 실시간으로 출력합니다. H200 GPU 기준으로는 최대 초당 200프레임(200 FPS)이라는 놀라운 생성 속도를 기록했습니다.

브라운 브리지로 얼굴을 고정하고 1단계로 끝낸다

기존 확산 모델은 무작위 노이즈에서 시작해 점진적으로 이미지를 복원하므로 극단적으로 단계를 줄이면 화질이 뭉개집니다. 반면 이전 프레임을 기반으로 다음 프레임을 이어 붙이는 자기회귀 방식은 오차가 누적되어 영상이 길어질수록 원래 인물의 얼굴이 변형되는 '식별 표류'가 발생합니다.

LeapTalk는 생성 방식 자체를 바꿨습니다. 노이즈에서 데이터로 이동하는 기존 경로 대신, 브라운 브리지 기반의 데이터 간 직접 이동 방식을 도입했습니다.

쉽게 말해 매 프레임 생성이 처음에 지정한 고정 참조 사진에서 출발해 목표 프레임으로 향하도록 설계했습니다. 얼굴의 기준점이 항상 원본 사진에 단단히 고정되어 있으므로 아무리 긴 영상을 스트리밍해도 얼굴이 변형되지 않으며, 이전 프레임의 움직임 정보도 매끄럽게 이어집니다.

연구진은 이를 단 한 번의 순방향 연산으로 끝내기 위해 이종 증류 구조를 적용했습니다. 다단계 흐름 매칭 교사 모델의 지식을 시간 변환 함수로 정합해 1단계 브라운 브리지 학생 모델에 전수했고, 음성 기반 가이던스를 더해 극단적인 압축 상태에서도 입모양 일치도를 정밀하게 유지했습니다.

압도적인 속도, 그러나 아직 뻣뻣한 동작

해외 테크 리뷰어들의 평가에서 가장 돋보인 부분은 압도적인 속도였습니다. 기존에 널리 쓰이던 Hello 3나 Echo Mimic 같은 디지털 휴먼 생성기와 비교했을 때 대기 시간이 수천 배 이상 단축되어, 현존하는 실시간 아바타 모델 중 가장 빠른 편에 속합니다.

프로젝트 페이지에는 이미 코드와 함께 개인 컴퓨터에서 직접 내려받아 실행할 수 있는 가이드가 모두 공개되어 있습니다.

물론 한계도 명확합니다. 실제 생성된 영상을 보면 말하는 인물의 머리 움직임과 표정이 다소 경직되어 있습니다. 연산 시간이 더 오래 걸리는 최신 고화질 디지털 휴먼에 비하면 자연스러움 면에서는 아직 눈에 띄게 어색한 구석이 있습니다.

왜 중요한가

AI 챗봇, 실시간 통역, 게임 NPC 개발자에게 200 FPS라는 수치는 단순한 스펙 이상입니다. 기존에는 확산 모델이 그림을 그릴 때까지 수초 동안 어색한 정적이 흘렀지만, 단일 단계 스트리밍이 가능해지면 음성이 나오는 즉시 화면이 함께 반응하는 진정한 실시간 상호작용이 가능해집니다.

영상 생성 기술 관점에서도 LeapTalk의 브라운 브리지 설계는 매우 영리합니다. 노이즈에서 출발해야 한다는 고정관념을 버리고 원본 사진을 닻으로 삼음으로써 장기적인 얼굴 안정성과 단일 단계 속도를 동시에 잡아냈기 때문입니다.

우리가 보기에 현재 LeapTalk는 사실적인 감정 연기보다는 '극강의 반응 속도와 안정성'을 우선시한 실용적 도구에 가깝습니다. 동작이 다소 뻣뻣한 점은 향후 제어 모듈을 통해 개선해야 할 몫이지만, 실시간 아바타의 최대 장벽이었던 지연 시간을 단숨에 허물었다는 점에서 주목할 가치가 충분합니다.