엔비디아, DLSS 5 공개: 실시간 신경 렌더링으로 그래픽 혁신

헐리우드 영화의 CG 장면은 프레임 하나를 렌더링하는 데 수십 분에서 몇 시간이 걸리기도 합니다. 반면 게임 그래픽 카드는 화면이 끊기지 않도록 단 16밀리초 안에 한 프레임을 완성해야 합니다.

엔비디아 젠슨 황 CEO는 3월 16일 열린 GTC 기조연설에서 신기술 DLSS 5를 공개하며, 이를 그래픽 분야의 'GPT 모먼트'이자 2018년 실시간 레이 트레이싱 도입 이후 가장 중대한 도약이라고 선언했습니다.

해상도 업스케일링을 넘어 신경 렌더링으로

초기 DLSS는 해상도를 키우거나 프레임을 끼워 넣어 성능을 끌어올리는 도구였습니다. 올해 초 CES에서 발표된 DLSS 4.5는 화면 속 24개 픽셀 중 23개를 AI가 직접 그리는 수준까지 발전했습니다.

이번 DLSS 5는 성능 최적화를 넘어 시각적 충실도 자체를 바꾸는 데 집중합니다. 게임의 색상과 모션 벡터를 입력받아 실시간 신경 렌더링 모델이 최대 4K 해상도로 실사 수준의 조명과 재질 표현을 덧입히는 방식입니다.

AI 모델은 단일 프레임 분석만으로 캐릭터, 머리카락, 직물, 반투명한 피부 등 장면의 의미 구조와 조명 상태를 파악합니다. 이를 바탕으로 피부 아래에서 빛이 퍼지는 서브서피스 스캐터링이나 원단 고유의 광택을 정밀하게 표현해 냅니다.

빗나가지 않는 생성형 AI 만들기

일반적인 생성형 비디오 모델도 뛰어난 화질을 보여주지만, 매번 결과가 달라지는 무작위성 때문에 정밀한 제어가 필요한 실시간 게임에는 쓸 수 없었습니다.

DLSS 5의 핵심은 게임 엔진의 확정적인 3D 구조 데이터를 토대로 생성형 AI의 확률적 렌더링을 결합한 점입니다. 젠슨 황은 가상 세계의 명확한 데이터에 생성형 AI를 결합함으로써 예술적 통제력을 잃지 않으면서도 극적인 현실감을 구현했다고 설명했습니다.

개발자는 효과 강도, 컬러 그레이딩, 마스킹 도구를 사용해 게임 고유의 미학을 유지할 수 있으며, 기존 스트림라인 프레임워크를 통해 손쉽게 연동할 수 있습니다. 이번 가을 정식 출시될 예정이며, 캡콤의 바이오하자드 레퀴엠, 베스에스다의 스타필드, 유비소프트의 어쌔신 크리드 섀도우스 등이 지원을 확정했습니다.

왜 중요한가

게이머 입장에서는 오랫동안 게임 그래픽의 한계로 지적되던 어색한 재질감이 실사 수준으로 개선되는 확실한 체감을 얻을 수 있습니다. 다만 지금 당장 기대치만 높일 일은 아닙니다. 4K 실시간 신경 렌더링을 구동하려면 상당한 AI 텐서 연산력이 필요할 것으로 보여, 사실상 최신 RTX 하드웨어 중심으로 지원될 가능성이 큽니다.

업계 관점에서는 엔비디아가 경쟁의 판도를 완전히 바꿨습니다. 경쟁사들이 업스케일링과 프레임 보간 기술을 겨우 따라잡는 사이, 엔비디아는 광원과 텍스처 자체를 생성형 모델로 대체하는 단계로 훌쩍 건너뛰었습니다. 단순한 깡성능과 전통적인 래스터화 경쟁으로는 더 이상 엔비디아를 따라잡기 어려워진 셈입니다.

우리는 엔비디아의 시선이 게임 너머를 향하고 있다는 점에 주목합니다. 젠슨 황은 연설 중 스노우플레이크나 데이터브릭스 같은 기업용 데이터베이스를 함께 언급했습니다. 가장 가혹한 16밀리초 단위의 실시간 인터랙티브 환경에서 '구조화된 데이터로 생성형 AI를 통제하는' 방식을 검증하고, 이를 엔터프라이즈 환경 전반으로 확장하려는 영리한 포석으로 보입니다.