알리바바, 이미지 읽는 오픈소스 비전 모델 'Qwen-VL' 공개

알리바바가 이미지를 읽고 분석할 수 있는 오픈소스 비전 언어 모델 Qwen-VL과 Qwen-VL-Chat을 공개했습니다.

텍스트만 처리하는 기존 대화형 모델과 달리 시각 정보를 직접 받아들여 이해하고 답변하는 멀티모달 모델입니다.

주요 기능과 활용 사례

기반 모델인 Qwen-VL은 고해상도 이미지를 인식할 수 있도록 처리 성능을 끌어올린 버전입니다.

대화형 모델인 Qwen-VL-Chat은 일상적인 복잡한 작업을 두루 지원합니다. 병원에 붙은 중국어 안내 표지판을 사진으로 찍으면 이를 인식해 영어로 번역하고 길을 안내해 줍니다.

교재 속 수학 공식을 촬영해 업로드하면 문제를 단계별로 풀어주고, 뉴스용 사진을 인식해 적절한 설명 캡션을 자동으로 작성하기도 합니다.

특히 여러 장의 사진을 한 번에 입력받아 전후 맥락을 파악하고 하나의 이야기로 엮어내는 다중 이미지 서사 구성 기능도 지원합니다.

시각장애인을 돕는 보조 기술로도 활용할 수 있습니다. 마트에서 상품을 촬영하면 제품 라벨과 성분 정보를 인식해 음성으로 읽어주는 식입니다.

제공 방식과 사용 환경

두 모델은 알리바바가 이달 초 선보인 오픈소스 언어 모델 Qwen-7B와 Qwen-7B-Chat을 기반으로 개발되었습니다.

개발자는 알리바바 클라우드의 모델스코프(ModelScope)와 허깅페이스(Hugging Face)에서 모델 가중치와 코드를 내려받을 수 있습니다.

막대한 비용을 들여 처음부터 멀티모달 모델을 학습시킬 필요 없이, 연구나 특정 목적에 맞춰 직접 미세조정(Fine-tuning)해 맞춤형 애플리케이션을 만들 수 있습니다.

왜 중요한가

오픈소스 생태계는 텍스트 중심 모델에 비해 시각 정보를 직접 다루는 완성도 높은 비전 모델이 항상 부족했습니다.

Qwen-VL의 공개로 개발자들은 폐쇄형 상용 API에 의존하지 않고도 이미지 기반 번역, 문서 인식, 보조 도구 등을 자체 인프라에서 실험할 수 있게 되었습니다.

문서 판독이나 쇼핑 보조 도구처럼 시각 데이터 처리가 필요한 서비스 개발자라면 지금 즉시 테스트해 볼 가치가 있는 선택지입니다.