FPS 인터랙티브 월드 모델 'SCOPE' 공개: 10자유도 컨트롤 지원

AI로 그럴싸한 총격전 영상을 만드는 건 이제 흔한 일이 됐습니다. 하지만 지금까지 우리는 그저 구경꾼에 불과했습니다. 캐릭터가 어디로 걷고 언제 방아쇠를 당길지는 오롯이 생성 모델 마음이었기 때문입니다.

연구팀이 오픈소스로 공개한 SCOPE는 사용자가 직접 조작할 수 있는 FPS 전용 인터랙티브 월드 모델입니다. 표준 게임패드를 쥐고 버튼을 누르면, AI가 그 입력값에 맞춰 실시간으로 반응하는 1인칭 플레이 영상을 그려냅니다.

이 프로젝트는 오픈소스 비디오 모델인 Wan2.2-TI2V-5B(50억 파라미터)를 기반으로 제작됐습니다. 모델 가중치와 추론 코드, 그리고 학습에 쓰인 CrossFPS 데이터셋 전체가 GitHub와 HuggingFace에 공개되었습니다.

조준선 안과 밖을 나눠서 계산하다

월드 모델이 게임패드 신호를 제대로 알아듣게 만드는 일은 까다롭습니다. 실제 FPS 플레이에서는 이동하면서 시점을 돌리고, 동시에 사격이나 재장전을 하는 식의 복합 조작이 쉴 새 없이 일어나기 때문입니다.

기존 모델들은 조작 신호를 화면 전체에 일괄 적용하다 보니, 총을 쏘는 순간 배경 전체가 울렁거리며 무너지는 문제가 있었습니다. SCOPE는 이를 똑똑한 공간 분리 방식으로 풀어냈습니다.

Wan2.2의 30개 DiT 트랜스포머 블록마다 별도의 액션 모듈을 삽입했습니다. 듀얼 조이스틱 기반의 4축 연속 조작은 시간 축 셀프 어텐션을 통해 화면 전체의 자연스러운 시점 이동을 담당하고, 사격이나 재장전 등 6개의 개별 버튼 신호는 크로스 어텐션을 통해 무기와 조준선 주변에만 국한되도록 격리했습니다. 별도의 마스크 라벨 없이도 격렬한 반동이 주변 배경을 왜곡하지 않도록 만든 것입니다.

현재 사양은 480x832 해상도에 초당 20프레임으로, 기본 81프레임(약 4초) 분량의 비디오를 생성합니다. VRAM이 넉넉하다면 161프레임까지 늘려 조작을 이어갈 수도 있습니다.

7개 게임 학습으로 새로운 게임까지 제로샷 대응

연구팀은 FPS 특유의 시각적 인터랙션을 학습시키기 위해 7종의 슈팅 게임에서 6만 9천 개 클립을 추출하고, 프레임 단위로 10자유도 조작 텔레메트리를 정렬한 CrossFPS 데이터셋을 구축했습니다.

기존 Matrix-Game 3.0이나 HY-World 1.5와의 비교 테스트에서 SCOPE는 압도적인 복합 조작 성능을 입증했습니다. '이동 중 사격'의 경우 기존 모델의 성공률이 한 자릿수에 그쳤던 반면 SCOPE는 76%를 기록했고, '조준과 동시 사격'은 82%에 달해 복합 액션 평균 성공률 71.5%를 달성했습니다.

특히 인상적인 부분은 제로샷 전이 능력입니다. 학습 데이터에 없던 검은 신화: 오공이나 원신, 잇 테이크 투의 정지 스크린샷 한 장만 넣고 컨트롤러를 조작해도, 모델이 추가 파인튜닝 없이 해당 세계관에 어울리는 1인칭 FPS 조작 비디오를 즉석에서 생성해 냅니다.

왜 중요한가

대다수 비디오 생성 모델이 화려한 고화질 컷신을 뽑아내는 데 집중할 때, SCOPE는 월드 모델을 '단순 감상용'에서 '플레이 가능한 프로토타입'으로 단숨에 끌어올렸습니다.

인디 게임 개발자나 기획자에게 이는 매우 유용한 기획 검증 도구가 될 수 있습니다. 배경 3D 에셋을 깔고, 카메라를 달고, 컨트롤러 이동 스크립트를 짜지 않아도, 컨셉 아트 한 장에 게임패드만 연결하면 해당 공간의 1인칭 시야와 공간감을 몇 초 만에 체감해 볼 수 있기 때문입니다.

공학적인 설계도 눈여겨볼 만합니다. 막대한 비용을 들여 처음부터 모델을 학습시키는 대신, 이미 검증된 Wan2.2의 가중치를 고정한 채 제로 초기화 잔차 연결을 갖춘 경량 액션 어댑터를 덧붙였습니다. 자원을 아끼면서 확실한 제어력을 확보한 실용적인 접근입니다.

물론 당장 상용 게임 엔진을 대체할 수준은 아닙니다. 480p 해상도와 4초 남짓의 생성 길이, 고성능 하드웨어 요구치는 실시간 상용 게임이 요구하는 밀리초 단위 반응성과는 여전히 거리가 있습니다. 하지만 우리는 SCOPE가 신경망 기반 영상 모델이 궁극적으로 '직접 조작하는 가상 세계'로 진화하는 방향을 가장 선명하게 보여준 사례라고 생각합니다.