엔비디아, '옴니버스 ACE' 얼리 액세스 출시: 클라우드 AI로 디지털 휴먼 제작 지원

가상 인간에게 생명력을 불어넣는 작업은 지금까지 막대한 수작업과 비용이 들어가는 영역이었습니다. 3D 리깅을 정교하게 짜고, 모션 캡처 장비를 갖추고, 음성 파형에 맞춰 입 모양을 프레임 단위로 다듬어야 했기 때문입니다.

NVIDIA 가 이 복잡한 파이프라인을 클라우드 API 몇 개로 묶어 제공하기 시작했습니다. NVIDIA 는 지능형 가상 비서와 디지털 휴먼을 대규모로 제작하고 배포할 수 있도록 지원하는 클라우드 네이티브 AI 마이크로서비스 제품군인 'Omniverse Avatar Cloud Engine(ACE)'의 얼리 액세스 프로그램을 공식 시작했습니다.

ACE 는 지난 9월 처음 공개된 뒤 일부 파트너사와 초기 피드백을 진행해 왔으며, 이번 프로그램을 통해 참여 개발자 범위를 본격적으로 넓히게 됩니다.

오디오 파일 하나로 실시간 얼굴 표정 생성

Omniverse ACE 의 핵심은 개발자가 어떤 엔진으로 캐릭터를 제작했든 상관없이 클라우드에서 AI 기반의 표정과 음성을 실시간으로 입혀준다는 점입니다.

가장 눈에 띄는 서비스는 3D 애니메이션 마이크로서비스인 Audio2Face 입니다. 음성 파일만 입력하면 생성형 AI 가 음성에 맞는 자연스러운 얼굴 표정 애니메이션을 즉시 생성하며, 언리얼 엔진 같은 렌더링 툴과 바로 연동됩니다.

2D 기반 작업을 위한 'Live Portrait' 마이크로서비스도 지원합니다. 실시간 비디오 입력을 바탕으로 2D 인물 사진이나 스타일화된 캐리커처 얼굴을 즉각 움직이게 만듭니다. 음성 합성에는 NVIDIA Riva TTS 가 사용되어, 말의 리듬이나 억양에 대한 복잡한 부가 정보 없이도 텍스트 원문만으로 자연스러운 목소리를 구현합니다.

이 모든 기능은 NVIDIA Unified Compute Framework(UCF) 기반의 플러그 앤 플레이 모듈로 구성됩니다. 퍼블릭이나 프라이빗 클라우드 어디에든 배포할 수 있어, 패스트푸드 매장의 주문 키오스크, 태블릿, VR 헤드셋 등 다양한 기기에서 가상 비서를 즉시 구동할 수 있습니다.

레디 플레이어 미부터 버튜버까지

이미 주요 3D 플랫폼들이 ACE 를 자사 워크플로에 도입하고 있습니다. 크로스 게임 아바타 플랫폼인 레디 플레이어 미(Ready Player Me)는 3D 캐릭터 애니메이션 구동에 ACE 를 접목했습니다.

레디 플레이어 미의 공동 창업자이자 CEO 인 팀무 퇴케(Timmu Tõke)는 지난 7년간 개발자와 사용자를 위한 완벽한 아바타 시스템을 구축해 왔으며, NVIDIA ACE 덕분에 캐릭터를 살아 움직이게 만드는 작업이 훨씬 쉬워졌다고 평가했습니다.

에픽게임즈의 메타휴먼(MetaHuman) 기술 역시 ACE 와 결합됩니다. 극사실적인 3D 디지털 휴먼을 제작하는 과정에서 복잡한 애니메이션 작업을 클라우드 자동화로 대체할 수 있게 된 셈입니다. 이 밖에도 2D 일러스트 기반으로 방송하는 버튜버(VTuber)들이 정지 이미지나 2D 캐릭터를 클라우드 기반의 실시간 3D 아바타로 업그레이드하는 데도 활용될 수 있습니다.

왜 중요한가

그동안 디지털 휴먼 분야는 딜레마에 빠져 있었습니다. 소수의 대형 스튜디오만 고비용을 들여 그럴듯한 결과물을 냈고, 대다수 기업이나 인디 개발자가 만든 캐릭터는 어색한 불쾌한 골짜기를 벗어나지 못했습니다. 우리는 NVIDIA 가 독자적인 아바타 제작 도구를 강요하는 대신, 언리얼 엔진이나 레디 플레이어 미의 뒷단에서 돌아가는 'AI 엔진' 역할을 자처한 점이 매우 영리하다고 봅니다.

개발자는 평소 쓰던 도구로 외형만 디자인하고, 골치 아픈 립싱크와 표정 생성, 음성 합성은 NVIDIA 클라우드에 맡기면 됩니다. 소규모 팀이라도 매장 키오스크나 웹 서비스에 자연스러운 3D 안내원을 탑재할 수 있는 문턱이 크게 낮아진 것입니다.

다만 모든 파이프라인을 실시간 클라우드 마이크로서비스에 의존하는 방식에는 현실적인 한계도 존재합니다. 네트워크 연결이 불안정한 환경에서는 응답 지연이 발생해 대화의 몰입도가 깨질 수 있고, 수많은 단말기에서 24시간 스트리밍을 유지할 때 발생하는 클라우드 인프라 비용 부담도 만만치 않을 것으로 보입니다.

그럼에도 챗봇 중심의 텍스트 AI 가 점차 시각적인 아바타 형태로 진화하는 흐름 속에서, NVIDIA 가 그래픽과 AI 를 잇는 핵심 구동 인프라를 선점했다는 사실은 향후 인터랙티브 콘텐츠 생태계에서 매우 강력한 영향력을 발휘할 것으로 판단됩니다.