RealWonder 공개: 가상 외력을 주면 물체의 움직임을 13 FPS로 실시간 비디오 생성

RealWonder는 단 한 장의 정적 이미지에 가상의 물리적 외력을 가해, 물체가 어떻게 반응하고 움직이는지를 실시간 비디오로 생성해내는 오픈소스 프로젝트입니다.

기존 비디오 생성 모델은 3차원 공간에서 힘이 작용할 때 물체가 어떻게 변하는지에 대한 물리적 구조 이해가 부족했습니다. RealWonder는 화면 위에서 화살표를 끌어당겨 힘을 주면, 물체가 물속에서 떠밀리거나 바람에 흔들리는 모습을 실시간으로 시뮬레이션해 화면에 띄웁니다.

무엇을 할 수 있나

사용자는 사진 한 장을 입력한 뒤 자유롭게 상호작용할 수 있습니다.

물속에 있는 물체에 특정 방향으로 힘을 가하면 물살을 타고 이동하는 장면을 즉시 만들어내며, 옷에 바람이 부는 방향을 지정하면 옷감이 펄럭이는 물리적 반응을 보여줍니다. 왼쪽과 오른쪽에서 동시에 서로 다른 힘을 가하는 다중 외력 조건도 자연스럽게 처리합니다.

적용 범위도 넓습니다. 단단한 강체는 물론이고 천과 같은 변형체, 액체 유체, 모래 같은 과립 물질까지 아우릅니다. 단순한 외력 인가 외에도 로봇 조작 행동이나 카메라 시점 이동도 제어할 수 있습니다.

속도 성능의 경우 단일 H200 GPU에서 480x832 해상도 기준 초당 13.2프레임(FPS)을 달성했습니다. 13 FPS 수준이면 AI 비디오 생성 분야에서는 실시간 상호작용이 가능한 영역에 진입한 셈입니다.

어떤 방식으로 구현했나

RealWonder의 핵심은 신경망이 연속적인 물리 힘을 억지로 직접 해석하게 두지 않고, 물리 시뮬레이션을 중간 가교로 활용했다는 점입니다.

전체 구조는 단일 이미지 3D 재구성, 물리 시뮬레이터, 증류된 확산 비디오 생성기의 세 가지 요소로 이뤄집니다. 가해진 외력을 물리 시뮬레이터가 3D 공간에서 먼저 계산한 뒤 광학 흐름(optical flow)과 RGB 시각 표현으로 변환하고, 이를 비디오 모델에 입력합니다.

비디오 생성 모듈은 확산 단계를 단 4단계로 증류해 연산량을 대폭 줄였습니다. 이 4단계 디퓨전 덕분에 초당 13프레임이라는 실시간 생성 속도를 확보할 수 있었습니다.

현재 RealWonder의 소스 코드와 사전 학습 가중치는 공식 프로젝트 웹사이트와 GitHub 저장소에 모두 공개되어 있으며, 로컬 환경 구축 및 실행 안내도 제공됩니다.

왜 중요한가

우리는 RealWonder가 단순한 프롬프트 기반 텍스트-투-비디오 생성에서 벗어나, 상호작용 가능한 물리 엔진형 AI로 나아가는 영리한 길을 열었다고 봅니다.

정지된 사진 한 장만으로 물체의 물리적 상호작용을 즉시 검증할 수 있어, 로봇 학습 시뮬레이션이나 AR/VR 콘텐츠 제작을 다루는 연구자라면 바로 내려받아 테스트해 볼 가치가 충분합니다.

물론 13 FPS를 내기 위해 H200 같은 초고가 GPU가 필요하다는 점은 일반 사용자가 당장 로컬에서 돌려보기에는 분명한 한계입니다. 하지만 고전 물리 시뮬레이터와 초고속 4단계 확산 모델을 결합해 실시간 물리 비디오를 이끌어낸 아키텍처는 향후 인터랙티브 AI 생태계에 중요한 이정표가 될 것입니다.