렌도라, 텍스트 기반 3D 아바타 영상 플랫폼 공개…카메라 앵글도 자유 편집

제대로 된 3D 가상 인간 영상을 만들려면 값비싼 모션 캡처 장비와 전문 애니메이터, 긴 렌더링 시간을 감수해야 했습니다.

렌도라(Rendora)는 텍스트 입력만으로 3D 아바타 영상을 제작할 수 있는 웹 플랫폼(rendora.ai)을 선보였습니다. 콜로라도에서 열린 SIGGRAPH 2024 현장에서도 기술을 선보였으며, 관람객들은 애플 비전 프로(Vision Pro)를 착용하고 극사실적인 3D 영상을 직접 체험하기도 했습니다.

텍스트 대본이 몇 초 만에 3D 영상으로

제작 과정은 직관적입니다. 플랫폼에서 마음에 드는 아바타와 3D 배경을 고르고 대본을 입력한 뒤 버튼을 누르면, 몇 초 만에 전문가 수준의 조명과 연출이 적용된 영상이 완성됩니다.

자체 대규모 언어 모델(LLM)을 활용해 텍스트 음성 변환(TTS)과 3D 애니메이션을 동시에 제어합니다. 덕분에 대본의 흐름에 맞춰 아바타의 입모양, 표정, 자연스러운 몸짓이 매끄럽게 연결됩니다.

가장 큰 장점은 생성 후 수정이 가능하다는 점입니다. 카메라 앵글이나 캐릭터 요소를 사용자가 직접 다시 조정할 수 있어, 마음에 들지 않는 컷이 나오더라도 처음부터 다시 생성할 필요가 없습니다.

렌도라의 창업자 짐 차이(Jim Chai)는 수백만 개의 3D 자산과 실시간 렌더링 엔진을 바탕으로 제작 과정을 단순화했다며, 향후 라이브 스트리밍과 대화형 아바타 서비스로 영역을 넓힐 계획이라고 밝혔습니다.

왜 중요한가

우리는 렌도라가 일반적인 2D 비디오 생성 모델과 달리 편집 가능한 3D 데이터 방식을 택했다는 점에 주목합니다.

소라(Sora)나 런웨이(Runway) 같은 2D 영상 생성 도구는 결과물이 화려하지만, 카메라 위치를 살짝 바꾸거나 특정 요소를 고치는 식의 정밀 제어가 거의 불가능해 반복적인 뽑기에 의존해야 합니다. 반면 가상 카메라와 3D 자산을 직접 다루는 렌도라의 방식은 상업용 영상 제작에서 필수적인 제어력을 제공합니다.

사내 교육 영상이나 마케팅 홍보물, 1인 크리에이터의 해설 콘텐츠를 만들 때 실제 배우나 촬영 스튜디오를 섭외하지 않아도 되므로 비용 절감 효과가 매우 뚜렷합니다.

물론 제공되는 3D 템플릿의 다양성이 부족하면 결과물이 쉽게 진부해질 수 있고, 미세한 표정 연기에서 불쾌한 골짜기를 완벽히 지웠는지는 실제 사용 경험을 통해 검증되어야 합니다. 그럼에도 복잡한 3D 영상 제작 파이프라인을 웹 브라우저 안으로 끌어들였다는 점은 분명히 실용적인 진전입니다.