오픈MOSS, 실시간 스트리밍 영상 모델 'MOSS-VL-Realtime' 오픈소스 공개

MOSS-VL-Realtime은 연속으로 들어오는 실시간 스트리밍 비디오를 인식하며 즉각적인 상호작용을 지원하는 11B 파라미터 규모의 오픈소스 멀티모달 모델이다.

전체 비디오를 먼저 다 내려받고 나서 질문을 던져야 했던 기존의 오프라인 방식과 달리, 오픈MOSS가 공개한 이 모델은 프레임이 유입되는 족족 병렬로 내용을 읽고 답을 생성하도록 설계됐다.

무엇을 할 수 있나

가장 눈에 띄는 기능은 스트림 재생 중 언제든 끼어들 수 있는 질문 기능이다. 화면이나 카메라 영상이 흘러가는 도중 어느 시점에서든 질문을 던지면, 지금까지 들어온 프레임을 종합해 바로 답을 내놓는다.

상황에 따라 입을 다물 줄도 안다. 화면에 의미 있는 변화가 없거나 단서가 부족하면 침묵 토큰을 내보내며 관찰을 이어간다.

이후 프레임에서 새로운 사실이 확인되면 앞선 판단을 능동적으로 수정하기도 한다. 시각 인코딩과 언어 추론을 분리한 크로스 어텐션 구조를 채택했으며, 256K 길이의 컨텍스트 윈도우와 XRoPE 기술을 통해 시간과 공간 좌표를 통합 계산하여 사건의 전후 관계와 지속 시간을 파악한다.

어떻게 실행하나

모델 크기는 11B이며 BF16 형식을 지원한다. 기본 설정은 초당 1프레임(1.0 FPS) 단위로 최대 256프레임까지 처리하며, 한 번에 한 개의 활성 실시간 세션을 다룬다.

소스 코드는 깃허브에, 가중치는 허깅페이스에 올라와 있다. 파이썬 3.12 환경에서 transformers와 accelerate 패키지를 설치해 구동하며, FlashAttention 2를 함께 쓰면 추론 속도를 끌어올릴 수 있다.

개발용 인터페이스는 두 가지다. 프레임과 질문을 순차적으로 전달하는 세션 스타일 API와 백엔드 멀티스레드 환경에 적합한 큐 스타일 API를 제공해 비디오 파이프라인과 쉽게 연동할 수 있다.

왜 중요한가

실시간 화면 비서나 방송 해설, 모니터링 에이전트를 만드는 개발자라면 지금 바로 내려받아 테스트해 볼 가치가 충분하다. 11B 크기 덕분에 단일 그래픽카드 환경에서도 온디바이스나 프라이빗 인프라로 구동할 수 있다.

판단이 모호할 때 침묵하거나 스스로 발언을 정정하는 메커니즘을 모델 자체에 내장해 애플리케이션 단의 복잡한 제어 로직을 덜어냈다는 점이 영리하다. 기본 1 FPS 처리 속도는 빠른 화면 전환에는 다소 벅찰 수 있으나, 일상적인 스트리밍 이해 작업에서는 충분히 실용적인 기준점이 된다.