엔비디아, 음성 기반 3D 표정 생성 AI '오디오투페이스' 오픈소스화

엔비디아 오디오투페이스는 음성 데이터만으로 3D 캐릭터의 자연스러운 표정과 립싱크를 생성하는 AI 툴로, 이번에 전체 프레임워크가 오픈소스로 공개됐습니다.

단순히 사전 학습된 모델과 SDK만 푼 것이 아니라 학습 프레임워크까지 전부 공개해, 누구나 무료로 내려받아 자체 캐릭터에 맞춰 파인튜닝할 수 있습니다.

무엇을 할 수 있나

음성 오디오를 입력하기만 하면 AI가 음소와 억양 등 음향적 특징을 분석해 실시간으로 얼굴 애니메이션 데이터를 만들어냅니다.

게임 컷씬이나 영상 제작을 위한 고품질 오프라인 렌더링은 물론, 대화형 AI NPC나 버추얼 휴먼을 위한 실시간 스트리밍 드라이브까지 완벽히 지원합니다.

실제 상용 게임 개발에도 널리 쓰이고 있습니다. 더 팜 51은 차기작 '체르노빌라이트 2: 익스클루전 존'에 이를 도입해 수많은 페이셜 키프레임 작업 시간을 아꼈고, 서비오스 역시 '에이리언: 로그 인커전 이볼브드 에디션'의 립싱크 파이프라인을 효율화했습니다.

3D 소프트웨어 개발사 리얼루전도 자사 iClone과 캐릭터 크리에이터 제품군에 오디오투페이스를 연동해 다국어 음성 기반 표정 제작과 세부 수동 보정 기능을 제공하고 있습니다.

작동 원리와 공개 범위

핵심 메커니즘은 음성의 미세한 음향 특징을 파악해 3D 캐릭터의 블렌드셰이프 및 본 표정 데이터로 정밀하게 매핑하는 구조입니다.

이번 오픈소스화의 가장 큰 강점은 학습 프레임워크의 개방입니다.

특정 카툰풍 캐릭터나 특수 언어 데이터셋에 맞춰 모델을 커스텀하고 싶다면, 기본 제공 모델을 기반으로 자체 데이터를 학습시켜 완전히 맞춤형 파이프라인을 구축할 수 있습니다.

해당 도구와 SDK는 엔비디아 개발자 공식 사이트에서 받을 수 있으며, 디스코드 커뮤니티를 통해 기술 지원이 이뤄집니다.

왜 중요한가

3D 게임과 애니메이션 제작에서 페이셜 리깅과 립싱크는 가장 많은 인력과 비용이 들어가는 병목이었습니다. 검증된 엔터프라이즈급 툴이 무료로 개방되면서 고가의 모션캡처 장비를 구비하기 어려운 인디 개발팀도 손쉽게 고품질 캐릭터를 만들 수 있게 됐습니다.

엔비디아의 전략 역시 영리합니다. 핵심 소프트웨어를 오픈소스로 풀어 3D 개발 생태계의 표준 규격으로 자리 잡게 만든 뒤, 결국 고화질 실시간 신경망 렌더링에 필요한 자사 RTX 하드웨어 수요로 연결시키는 영리한 그림을 그리고 있습니다.