엔비디아와 메릴랜드대, 자유 시점 비디오 스트리밍 모델 'QUEEN' 공개

스포츠 경기나 콘서트 중계를 보면서 원하는 각도로 시점을 돌려보고 싶다는 생각은 누구나 한 번쯤 해봤을 겁니다. 하지만 실시간으로 3D 장면을 재구성해 스트리밍하는 일은 막대한 연산량과 대역폭 문제 때문에 늘 상용화의 벽에 부딪혀 왔습니다.

NVIDIA 연구소와 메릴랜드 대학교가 NeurIPS 2024에서 공개한 AI 모델 QUEEN은 이 오랜 난제를 정면으로 겨냥했습니다.

5초 학습에 350fps 렌더링

QUEEN은 여러 각도에서 촬영한 2D 비디오를 입력받아 시청자가 원하는 시점에서 자유롭게 장면을 둘러볼 수 있는 자유 시점 비디오 기술입니다.

기존 방식들은 실시간 스트리밍에 쓰기에는 메모리를 지나치게 많이 차지하거나, 파일 크기를 줄이려다 화질이 뭉개지는 한계가 뚜렷했습니다.

연구진이 NVIDIA Tensor Core GPU를 사용해 벤치마크를 진행한 결과, QUEEN은 5초 미만의 학습 시간만으로 초당 약 350프레임의 렌더링 속도를 기록했습니다.

압축률, 시각적 품질, 인코딩 및 렌더링 속도 사이의 균형을 잡아, 호스트 서버에서 사용자 기기로 고화질 3D 영상을 거의 실시간 전송할 수 있는 수준에 도달한 것입니다.

정적 영역 재활용으로 대역폭 잡았다

QUEEN이 이렇게 빠른 속도를 내는 비결은 일종의 영리한 계산 생략에 있습니다.

대부분의 실제 환경에서 배경과 같은 장면 요소는 시간이 지나도 거의 변하지 않고 정지해 있습니다.

QUEEN은 이처럼 프레임 간 변화가 없는 정적 영역의 렌더링 결과를 추적해 재사용하고, GPU 연산 자원을 시간에 따라 움직이는 동적 피사체에만 집중 투입합니다.

덕분에 불꽃, 화염, 털이 많은 동물처럼 기존 모델들이 자주 깨먹던 까다로운 동적 디테일도 높은 해상도를 유지한 채 매끄럽게 처리해 냅니다.

NVIDIA는 이 기술이 스포츠 경기 다각도 리플레이, 콘서트 가상현실 중계, 요리나 종이접기 등을 원하는 각도로 확인하는 3D 화상회의는 물론, 물류창고나 제조 공장에서 원격 로봇을 정밀하게 조작할 때 깊이감을 파악하는 도구로 쓰일 수 있다고 설명했습니다. 관련 코드는 곧 오픈소스로 공개될 예정입니다.

왜 중요한가

우리는 QUEEN이 무작정 거대한 신경망으로 장면 전체를 추정하려 하지 않고, 움직이지 않는 배경을 과감히 재활용해 불꽃이나 털 같은 까다로운 디테일에 연산력을 몰아준 공학적 판단이 매우 영리하다고 봅니다.

공간 컴퓨팅과 영상 제작 업계 입장에서 자유 시점 비디오는 매력적이지만 제작 비용이 천문학적인 영역이었습니다. 멀티 카메라 영상만으로 5초 안에 학습을 끝내고 350fps로 렌더링할 수 있다면, 다중 시점 스포츠 중계나 교육 콘텐츠의 제작 진입 장벽이 획기적으로 낮아집니다.

원격 제어 로봇 산업에도 시사하는 바가 큽니다. 평면 화면만 보며 작업하던 원격 조작자가 딜레이 없이 시점을 전환해 공간 깊이를 입체적으로 가늠할 수 있다면 작업 실수와 피로도가 크게 줄어듭니다.

다만 이 기술은 여전히 정밀하게 동기화된 다중 카메라 세팅과 고성능 Tensor Core GPU 인프라를 전제로 합니다. 오픈소스 공개 이후 실제 가정용 네트워크나 불안정한 모바일 무선망 환경에서 화질 저하와 지연 시간을 어디까지 방어할 수 있을지가 상용화의 핵심 관건으로 보입니다.