텐센트, 올인원 비전 AI 모델 'WeVisOne-VL' 오픈소스 공개

WeVisOne-VL은 텐센트 위챗 비전 팀이 오픈소스로 공개한 올인원 비전 언어 모델입니다. 단 하나의 가벼운 모델로 객체 탐지, 포인팅, 객체 카운팅, OCR 텍스트 인식, 그리고 머리카락 단위의 정밀한 누끼 따기(알파 매팅)까지 모두 해냅니다.

기존에는 이런 작업을 처리하려면 탐지 모델로 영역을 찾고, SAM 같은 외부 분할 모델로 윤곽을 딴 뒤, 별도 매팅 툴로 투명도를 조절하는 복잡한 다단계 파이프라인을 거쳐야 했습니다. WeVisOne-VL은 이 모든 과정을 하나의 단일 아키텍처로 묶어냈습니다.

무엇을 할 수 있나

이미지와 함께 자연어 프롬프트를 입력하면 원하는 작업을 즉시 수행합니다. 가구를 찾으라고 하면 바운딩 박스를 반환하고, 특정 대상의 개수를 세라고 하면 위치를 짚어가며 숫자를 셉니다. 이미지 속 텍스트 영역을 찾아내 문자를 읽는 OCR 성능도 탄탄합니다.

가장 돋보이는 부분은 픽셀 단위의 누끼 따기 성능입니다. SAM 같은 거대 분할 모델의 도움 없이도 머리카락처럼 섬세한 연속 투명도 채널(알파 매트)을 바로 뽑아냅니다. 또한 이미지에 없는 대상을 물어보면 억지로 환각을 일으켜 라벨을 붙이는 대신 None을 반환하며 명확히 거절합니다.

벤치마크 결과도 인상적입니다. 4B 모델 기준으로 고밀도 탐지 벤치마크인 Dense200에서 F1 Mean 71.3을 기록해 3B~9B 규모의 오픈소스 경쟁 모델들을 앞섰습니다. WeRef-Bench 거절률 테스트에서는 96.4%를 기록했으며, P3M-500-NP와 WeRefMat 매팅 테스트의 오차 지표인 MAD는 각각 7.3과 9.8까지 낮췄습니다.

어떻게 동작하며 어떻게 실행하나

기술적으로는 Qwen3-VL을 기반으로 삼고, 모든 시각 과제를 구조화된 텍스트 토큰 형태로 처리합니다. 핵심 혁신은 픽셀 디코더의 크기를 불과 9.6M 파라미터 수준으로 극단적으로 줄였다는 점입니다. 토큰 히든 스테이트와 바운딩 박스, 멀티스케일 ViT 특징을 조합해 아주 적은 연산량으로 원본 해상도의 마스크와 알파 매트를 복원합니다.

라이선스는 상업적 활용이 자유로운 Apache 2.0입니다. Hugging Face에 2B와 4B 두 가지 가중치가 올라와 있으며, 추론 패키지, 튜토리얼 쿡북, 평가 코드와 함께 데이터 엔진에 쓰인 Mask2Alpha 도구까지 전부 공개되었습니다.

하드웨어 요구 사양도 가볍습니다. 4B 모델 용량은 약 19GB이고 2B 모델은 그 절반 수준이어서 일반 소비자용 GPU나 개인 PC 로컬 환경에서도 구동됩니다. GitHub 저장소를 내려받아 의존성을 설치하면 기본 제공되는 Gradio 스크립트로 로컬 웹 데모를 띄울 수 있으며 Transformers와 vLLM 백엔드를 모두 지원합니다.

왜 중요한가

로컬 이미지 편집 툴이나 자동화 라벨링 파이프라인을 구축 중인 개발자라면 WeVisOne-VL은 지금 당장 테스트해 볼 만한 도구입니다. 탐지기와 SAM, 매팅 툴을 주렁주렁 이어 붙이던 기존 방식을 10M도 안 되는 초경량 디코더 하나로 대체해 메모리 점유율과 처리 지연 시간을 획기적으로 줄였습니다.

타깃이 없을 때 정직하게 거절하는 기능 덕분에 자동화 워크플로에서 오작동 위험을 크게 덜 수 있습니다. 다만 2B와 4B 기반의 소형 모델인 만큼 복잡한 장문 추론에는 한계가 있으므로, 범용 대화 모델보다는 독립적인 고성능 시각 인지 모듈로 시스템에 결합하는 방식을 추천합니다.