엔비디아, '스트림 렌더 H3' 오픈소스 공개: 게임 그래픽을 실시간 영화급으로

엔비디아의 'Stream Render H3'는 단순한 게임 화면을 실시간으로 영화 같은 고화질 영상으로 바꿔주는 오픈소스 렌더링 시스템입니다.

전통적인 3D 렌더링 파이프라인 대신 생성형 비디오 모델을 사용합니다. 게임 엔진은 물리와 조작만 계산하고, 최종 화면의 질감과 조명은 비디오 확산 모델이 실시간으로 그려냅니다.

어떤 기능을 지원하나

공식 레이싱 데모에서는 three.js 기반의 가벼운 웹 브라우저 게임이 기반으로 작동합니다. 화면에는 거친 폴리곤 대신 실제 도로를 달리는 듯한 사실적인 주행 영상이 출력됩니다.

스타일 전환도 매우 간편합니다. 참고용 이미지 한 장이나 텍스트 프롬프트를 입력하면 자동차의 외형이나 주변 환경 스타일이 즉시 바뀝니다.

게임 엔진의 그래픽 리소스를 새로 만들지 않고도 동일한 주행 규칙 위에서 전혀 다른 분위기의 비주얼을 실시간으로 구현할 수 있습니다.

작동 원리

Stream Render H3의 핵심은 세상의 규칙을 다루는 게임 로직과 겉모습을 만드는 시각 생성을 완전히 분리한 데 있습니다.

코드 게임 엔진은 맵, 물리 엔진, 충돌 규칙, 카메라 위치를 정확하게 계산합니다. 엔진은 빛이나 텍스처 정보가 없는 색상 기반의 시맨틱 맵만 출력해 AI에 넘깁니다.

영상 생성은 오픈소스 비디오 모델인 MiniMax H3와 Qwen 등의 인코더 모델이 담당합니다. 연구진은 모델을 2단계 추론만으로 프레임을 완성하도록 최적화해 실시간 스트리밍 렌더링을 구현했습니다.

하드웨어 요구 사양과 공개 상태

엔비디아는 모델 가중치와 전체 코드를 오픈소스로 공개했으며 프로젝트 페이지에서 로컬 실행 가이드를 제공합니다.

다만 일반 사용자가 직접 돌려보기에는 문턱이 높습니다. MiniMax H3와 보조 인코더들을 포함한 전체 시스템 용량만 200GB를 훌쩍 넘깁니다.

연산 요구량도 상당합니다. 실시간 렌더링 데모는 GP200 GPU 8장을 묶은 엔터프라이즈 환경에서 구동되었습니다. 소비자용 단일 GPU로는 로컬 실시간 구동이 어려운 상황입니다.

왜 중요한가

동영상 생성 AI를 단순한 클립 제작 도구에 머무르게 하지 않고 게임 엔진의 실시간 렌더러로 전환시켰다는 점에서 의미가 큽니다.

DLSS가 열어둔 신경망 렌더링 방향성을 한 단계 더 밀어붙여 복잡한 3D 그래픽 파이프라인 자체를 색상 맵 기반 확산 모델로 대체할 수 있음을 보여줬습니다.

물론 지금 당장은 방대한 용량과 다중 GPU 환경을 요구하는 연구용 프로토타입에 가깝습니다. 하지만 추론 최적화가 지속된다면 인디 개발자가 물리 로직만 짜고도 대형 신작 수준의 그래픽을 뽑아내는 시대가 훨씬 앞당겨질 것으로 보입니다.