텐센트, 3D 월드 모델 'HY-World 2.0' 오픈소스 공개…편집 가능한 3D 에셋 직접 생성

HY-World 2.0은 텐센트 훈위안 팀이 오픈소스로 공개한 멀티모달 3D 월드 모델입니다. 쉽게 말해 기존처럼 화면만 바라보는 생성 영상을 넘어, 게임 엔진과 로봇 시뮬레이터에 곧바로 집어넣을 수 있는 영구적인 3D 에셋을 만들어 주는 도구입니다.

텍스트 프롬프트 한 줄이나 단일 이미지, 다각도 사진, 심지어 일상적인 동영상을 입력해도 폴리곤 메시(Mesh)나 3D 가우시안 스플래팅(3DGS) 형태의 3D 공간 데이터를 직접 뽑아냅니다.

무엇을 할 수 있나

기존 Genie 3, Cosmos, 혹은 텐센트의 이전 실험작인 HY-World 1.5 같은 모델들은 픽셀 단위의 비디오를 실시간으로 생성하는 방식이었습니다. 기껏해야 1분 남짓 재생되고 나면 사라지는 영상에 불과했고, 시점이 바뀔 때마다 깜빡임이나 왜곡이 생겼으며 매 프레임 막대한 추론 비용이 들었습니다.

HY-World 2.0은 이 패러다임을 완전히 바꿨습니다. 비디오를 녹화하는 대신, 완전히 편집 가능한 3D 게임 스테이지를 통째로 생성합니다.

출력된 결과물은 블렌더, 유니티, 언리얼 엔진, 엔비디아 아이작 심(Isaac Sim) 같은 업계 표준 3D 파이프라인으로 즉시 가져와 수정할 수 있습니다. 3D 에셋이 완전히 고정되어 있으므로 일반 소비자용 GPU에서도 지연 없이 실시간 렌더링이 가능합니다.

생성된 공간 속으로 직접 걸어 들어갈 수도 있습니다. 1인칭 탐색과 3인칭 캐릭터 조작 모드를 모두 지원하며, 물리 기반 충돌 판정이 적용되어 있어 AI가 만든 거리나 건물 내부의 벽을 뚫고 지나가지 않고 자연스럽게 부딪히며 탐색할 수 있습니다.

여기에 현실 공간 복원 기능도 강력합니다. 약 12억 개(1.2B) 파라미터 규모의 WorldMirror 2.0 피드포워드 모델을 통해, 스마트폰 영상이나 다각도 사진을 한 번의 연산만으로 깊이 맵, 표면 법선, 카메라 파라미터, 고밀도 포인트 클라우드 및 3DGS로 변환해 디지털 트윈을 만들어 냅니다.

작동 방식과 공개 현황

전체 생성 과정은 4단계 파이프라인으로 나뉩니다. HY-Pano 2.0으로 360도 파노라마를 먼저 만든 뒤, WorldNav로 카메라 경로를 계획하고, WorldStereo 2.0으로 장면을 확장한 다음, WorldMirror 2.0과 3DGS 학습을 결합해 최종 3D 월드를 완성합니다.

텐센트는 깃허브 저장소(Tencent-Hunyuan/HY-World-2.0)를 통해 기술 보고서와 주요 코드, 가중치를 공개하고 있습니다. WorldMirror 2.0의 추론 코드와 허깅페이스 가중치가 먼저 풀렸고, HY-Pano 2.0 및 WorldStereo 2.0 모듈도 순차적으로 제공되고 있으며 공식 제품 페이지에서 체험도 지원합니다.

왜 중요한가

인디 게임 개발자, 3D 배경 아티스트, 그리고 피지컬 AI 및 로봇 시뮬레이션 환경을 구축하는 연구자라면 지금 바로 확인해 볼 가치가 충분합니다.

업계 경쟁이 '얼마나 그럴듯한 픽셀 비디오를 연속해서 만드느냐'에 쏠려 있을 때, 텐센트는 산업 현장에서 당장 쓸 수 있는 3D 에셋 직수출이라는 매우 실용적인 길을 택했습니다. 생성된 메시의 정밀도나 토폴로지 품질에 일부 후가공이 필요할 수는 있겠지만, 프로토타입 제작이나 시뮬레이션 맵 구축에 들어가는 막대한 수작업 시간을 극적으로 줄여줄 것으로 보입니다.