'제너레이티브 월드 렌더러' 발표: 텍스트 입력만으로 AAA 게임 그래픽과 조명 재구성

'검은 신화: 오공'에 등장하는 고즈넉한 사찰 풍경을 사이버펑크 네온 도시로 바꾸려면, 기존에는 3D 모델링과 셰이더를 밑바닥부터 다시 작업해야 했습니다.

하지만 게임 엔진이 이미 알고 있는 3차원 물리 정보를 AI에 직접 건네준다면 이야기가 달라집니다.

연구팀은 '제너레이티브 월드 렌더러(Generative World Renderer)'를 공개했습니다. '검은 신화: 오공'과 '사이버펑크 2077' 같은 대작 AAA 게임에서 400만 프레임 규모의 그래픽 데이터를 추출해, 텍스트 프롬프트만으로 게임 속 재질과 날씨, 조명을 손쉽게 재구성하는 기술입니다.

게임 엔진에서 400만 프레임의 G-buffer를 추출하다

기존 영상 생성 AI로 게임 화면 스타일을 바꾸려 하면, 카메라가 회전할 때 기둥이 울렁거리거나 디테일이 뭉개지는 왜곡이 흔히 발생했습니다. 픽셀 너머의 입체 구조를 알지 못하기 때문입니다.

연구팀은 듀얼 스크린 스티칭 캡처 방식을 개발해 이 한계를 넘었습니다. AAA 게임에서 720p 해상도와 30 FPS 기준의 RGB 영상과 5개 채널의 G-buffer 데이터를 400만 프레임 연속 추출했습니다.

G-buffer는 게임 엔진 내부에서 화면 깊이(Depth), 물체 표면의 방향인 법선(Normals), 기본 색상인 알베도(Albedo), 거칠기와 금속성 등을 담고 있는 핵심 데이터입니다.

이러한 물리적 뼈대를 AI 가이드로 활용하기 때문에, 텍스트로 스타일을 대폭 뜯어고쳐도 물체의 형상과 공간 위치가 왜곡 없이 그대로 유지됩니다.

텍스트 입력만으로 날씨와 조명을 바꾸는 렌더링

이 렌더러는 크게 두 가지 방식으로 작동합니다.

첫째는 순방향 렌더링입니다. 추출한 G-buffer에 텍스트 프롬프트를 넣으면 숲길을 순식간에 모래바람 날리는 사막으로 바꾸거나, 짙은 안개와 반딧불이 무리를 덧입힐 수 있습니다.

둘째는 역방향 렌더링과 조명 재구성(Relighting)입니다. 기존 화면에서 빛과 그림자를 깨끗하게 분리해 순수 재질을 추출한 뒤, 새로운 환경 맵을 적용해 노을이나 밤하늘 같은 다른 광원 환경으로 자연스럽게 다시 렌더링합니다.

연구팀은 정답 라벨이 없는 환경에서도 결과물의 품질을 측정할 수 있도록 시각언어모델(VLM) 기반의 평가 프로토콜을 도입해 공간과 시간의 일관성을 검증했습니다.

왜 중요한가

우리는 이 연구가 생성형 AI와 전통적인 게임 그래픽 파이프라인 사이에서 가장 현실적이고 영리한 타협점을 찾아냈다고 봅니다.

게임 개발자, 인디 스튜디오, 모드(Mod) 제작자에게는 콘셉트 기획 비용을 획기적으로 줄여주는 도구가 됩니다. 언리얼 엔진 등에서 셰이더를 다시 굽지 않고도 텍스트 몇 줄로 다양한 비주얼 톤을 미리 시험해 볼 수 있습니다.

업계 관점에서도 큰 시사점을 줍니다. 픽셀 단위로만 비디오를 생성하려는 기존 방식은 깜빡임과 기하학적 붕괴 문제를 풀기 어려웠습니다. 게임 엔진의 G-buffer를 물리적 제약 조건으로 연결하는 방식이 훨씬 안정적임을 증명한 셈입니다.

현재는 720p 해상도의 오프라인 렌더링 단계에 머물러 있어 게임 플레이 도중 실시간으로 동작하지는 않습니다. 하지만 신경망 렌더링이 가야 할 실질적인 경로를 명확히 제시했다는 점에서 주목할 만합니다.