엔비디아, 감정 표현하는 대화형 디지털 휴먼 '제임스' 공개

지금까지 고객센터나 키오스크에서 보던 디지털 휴먼은 시선이 멍하거나 입모양이 대사와 따로 노는 어색한 그래픽이 대부분이었습니다.

NVIDIA가 이 불쾌한 골짜기를 본격적으로 메우기 시작했습니다.

SIGGRAPH 2024에서 NVIDIA는 디지털 휴먼 제작 솔루션인 ACE와 Maxine 플랫폼의 최신 기능을 공개하며 한층 자연스러워진 가상 인간 기술을 선보였습니다.

농담 던지는 제임스와 사진 한 장으로 말하는 기술

현장에서 시선을 끈 것은 브랜드 앰버서더 디지털 휴먼 ‘제임스(James)’입니다.

제임스는 NVIDIA NIM 마이크로서비스를 기반으로 RAG 기술을 사용해 최신 기술 질문에 정확하게 답합니다. ElevenLabs의 음성과 RTX 렌더링을 결합해 유머와 감정을 섞어 대화할 수 있으며, 현재 ai.nvidia.com에서 누구나 실시간 대화를 체험해 볼 수 있습니다.

화상 회의 환경을 위한 Maxine 플랫폼도 눈에 띄게 진화했습니다.

Maxine 3D는 평범한 2D 웹캠 영상을 실시간으로 3D 아바타로 변환해 화상 회의에 연결해 줍니다.

현재 얼리 액세스 중인 Audio2Face-2D는 사진 한 장과 음성 파일만 넣으면 입모양과 얼굴 표정이 자연스럽게 움직이는 말하는 디지털 휴먼 영상을 만들어 냅니다.

노트북 한 대로 구동하고 크루즈선 가이드로 탑승

협력사들의 실제 상용화 시도도 다양하게 공개되었습니다.

디지털 휴먼 기업 UneeQ는 RTX 외장 그래픽이 탑재된 노트북 한 대에서 Gemma 7B 모델, RAG, Audio2Face-3D를 로컬로 구동하는 데모를 선보였습니다. 웹캠으로 사용자의 표정과 동작을 인식해 반응합니다.

홀로그램 기업 루킹 글래스는 일반 카메라와 Maxine 3D를 연결해 16인치 및 32인치 공간 디스플레이에 안경 없이 볼 수 있는 실시간 3D 홀로그램을 띄웠습니다.

이탈리아 코스타 크루즈에는 리플라이(Reply)가 제작한 6개 국어 지원 디지털 승무원 ‘푸투라(Futura)’가 도입됩니다. GPT-4o, Hume AI의 감정 인식, 언리얼 엔진 5.4.3을 결합해 승객의 기항지 투어 일정을 짜고 예약을 돕습니다.

왜 중요한가

그동안 사람처럼 반응하는 3D 디지털 휴먼을 만들려면 모션 캡처 장비, 대규모 그래픽 엔진, 개별 AI 모델을 복잡하게 이어 붙여야 했고 지연 시간도 길었습니다.

NVIDIA는 이 골치 아픈 파이프라인을 모듈식 마이크로서비스(NIM)로 묶어 표준 규격처럼 제공하기 시작했습니다. 개발사는 이미 쓰고 있는 거대언어모델에 NVIDIA API만 붙여 실시간으로 입모양을 맞추고 표정을 짓는 얼굴을 손쉽게 얹을 수 있게 된 셈입니다.

특히 클라우드 서버 비용 없이 일반 RTX 노트북 수준의 기기에서 로컬로 모델과 그래픽을 동시에 굴릴 수 있다는 점은 매장 카운터나 안내 데스크 도입 문턱을 크게 낮춥니다.

다만 겉모습이 사람에 가까워질수록 AI가 엉뚱한 답변을 내놓았을 때 사용자가 느끼는 거부감도 훨씬 커집니다. 외형의 화려함에만 집중하기보다는 실제 고객 응대 상황에서 오작동하지 않는 지식 검색 정확도를 확보하는 것이 먼저라고 봅니다.