알리바바, 비전 모델 Qwen2-VL 공개: 2B·7B 오픈소스화 및 20분 영상 분석 지원

Qwen2-VL은 다양한 해상도의 이미지와 20분 이상의 장문 영상을 직접 이해하고, 모바일 기기 화면을 조작하거나 외부 도구를 호출하는 시각 에이전트 역할을 수행할 수 있는 비전 언어 모델입니다.

알리바바는 이번에 2B와 7B 두 가지 크기의 모델 가중치를 Apache 2.0 라이선스로 오픈소스 공개했습니다. 코드는 이미 Hugging Face Transformers 메인 브랜치에 통합되었습니다. GPT-4o급 성능을 내는 72B 플래그십 모델은 클라우드 API 형태로 제공됩니다.

무엇을 할 수 있는가

이전 세대 모델과 비교해 가장 큰 변화는 이미지 비율과 해상도 제약이 사라졌다는 점입니다. 세로로 긴 웹페이지 스크린샷이나 왜곡된 도표, 손글씨 메모까지 원본 형태 그대로 인식해 분석합니다.

영상 이해 능력도 대폭 강화되었습니다. 20분이 넘는 분량의 비디오를 입력받아 특정 구간의 내용을 질의응답하거나 요약할 수 있으며, 영상 기반의 실시간 대화 보조 도구로도 활용할 수 있습니다.

시각 에이전트 기능도 주목할 만합니다. 스마트폰이나 로봇의 화면 인터페이스를 인식해 동작을 결정할 수 있고, 시각 정보를 바탕으로 외부 API를 호출해 항공편 상태나 배송 추적 정보를 확인하는 펑션 콜링을 지원합니다.

벤치마크 결과에 따르면 72B 모델은 DocVQA, MathVista 등 문서 및 수학 추론 지표에서 GPT-4o 및 Claude 3.5-Sonnet과 대등하거나 일부 앞서는 성능을 보였습니다. 7B 모델은 비용 대비 효율이 뛰어나며, 2B 모델은 모바일 기기 배포에 맞게 최적화되었습니다.

어떻게 동작하는가

기존 비전 모델들은 이미지를 고정된 크기나 격자로 강제 변환하면서 세부 정보가 손실되는 문제가 있었습니다. Qwen2-VL은 네이티브 동적 해상도 방식을 도입해 임의의 크기와 비율을 가진 이미지를 가변 토큰으로 직접 변환합니다.

기본 아키텍처는 약 6억 파라미터 크기의 ViT와 Qwen2 언어 모델을 결합했습니다. 여기에 시간, 높이, 너비로 분해된 다중 모달 회전 위치 임베딩(M-ROPE)을 적용하여 1차원 텍스트, 2次元 이미지, 3차원 영상의 위치 정보를 동시에 처리합니다.

다만 명확한 한계도 존재합니다. 영상에서 오디오를 직접 추출해 듣지 못하며, 학습 데이터 지식은 2023년 6월에 멈춰 있습니다. 개수 세기나 정밀한 문자 식별, 3D 공간 인지에서는 여전히 오차가 발생할 수 있습니다.

사용 방법

로컬 환경에서 직접 실행하려면 Hugging Face나 ModelScope에서 2B 또는 7B 모델 가중치를 내려받으면 됩니다. 코드가 최근 병합되었기 때문에 소스코드 빌드 방식으로 Transformers를 설치하고 공식 qwen-vl-utils 패키지를 함께 설치해야 합니다. vLLM 추론 가속도 지원합니다.

가장 성능이 뛰어난 72B 버전을 사용하려면 DashScope에서 API 키를 발급받아 OpenAI 호환 인터페이스로 호출하면 됩니다.

왜 중요한가

우리는 Qwen2-VL이 오픈소스 멀티모달 모델을 실무 수준으로 끌어올린 중요한 이정표라고 봅니다. 동적 해상도와 M-ROPE 구조를 통해 실제 업무에서 가장 골치 아팠던 복잡한 문서 분석과 긴 영상 처리를 매끄럽게 풀어냈습니다.

자체 서버에서 사내 문서나 UI를 처리해야 하는 개발자에게 Apache 2.0 라이선스의 7B 모델은 성능과 비용을 모두 잡은 강력한 대안이 됩니다. 아직 음성 지원이 빠져 있어 완전한 옴니 모델은 아니지만, 순수 시각 처리와 에이전트 파이프라인을 구축하려는 팀이라면 지금 당장 검토해 볼 가치가 충분합니다.