오픈소스 모델 Qwen2 공개, 5가지 크기에 최대 128K 컨텍스트 지원

Qwen2는 Qwen 팀이 새롭게 공개한 오픈소스 대형 언어 모델 제품군이다. 온디바이스용 초경량 모델부터 대규모 워크로드용 플래그십까지 폭넓게 포괄하며, 다국어 처리, 코딩, 수학적 추론, 장문 맥락 이해 능력을 대폭 강화했다.

주요 구성과 기술적 특징

Qwen2는 0.5B, 1.5B, 7B, MoE 구조의 57B-A14B, 그리고 최상위 72B까지 총 5가지 크기로 제공된다. 모든 모델은 사전 학습 베이스 모델과 지시어 튜닝(Instruct) 모델로 나뉘어 배포된다.

구조 면에서 가장 두드러진 변화는 전 모델에 GQA(Group Query Attention)를 기본 적용했다는 점이다. 이를 통해 소형 모델에서도 추론 속도가 빨라지고 메모리 사용량이 줄어들었다. 0.5B와 1.5B 같은 소형 모델에는 임베딩 공유(Tie Embedding) 기법을 함께 적용해 파라미터 효율을 높였다.

학습 언어도 대폭 늘렸다. 영어와 중국어 외에 서유럽, 동유럽, 중동, 아시아 등 27개 추가 언어 데이터를 학습에 반영했다. 문장 중간에 여러 언어가 뒤섞이는 코드 스위칭(Code-Switching) 현상도 집중적으로 개선해 다국어 입력 시의 오작동을 줄였다.

컨텍스트 지원 역시 강화되었다. 7B와 72B 인스트럭트 모델은 YARN 기술 등을 접목해 최대 128K 토큰의 긴 문맥을 다룰 수 있으며, 건초더미 속 바늘 찾기(Needle in a Haystack) 테스트를 무난히 통과했다. 57B-A14B는 64K, 소형 모델 2종은 32K를 지원한다.

벤치마크 성능과 실행 환경

성능 면에서 플래그십 Qwen2-72B는 Llama-3-70B와 대등하거나 주요 벤치마크에서 이를 앞서는 지표를 기록했다. 파라미터 수가 더 많았던 이전 세대 Qwen1.5-110B보다도 높은 점수를 냈다. CodeQwen1.5의 학습 데이터를 반영한 덕분에 코딩과 수학 문제 해결 능력이 눈에 띄게 올랐다.

다국어 안전성 평가에서도 Qwen2-72B-Instruct는 유해 프롬프트 차단율에서 GPT-4에 근접한 수준을 보이며 Mistral-8x22B보다 우수한 방어력을 나타냈다.

요구 하드웨어는 크기별로 갈린다. 0.5B와 1.5B는 모바일 기기나 일반 노트북에서도 가볍게 구동된다. 7B는 16GB 비디오 메모리를 갖춘 소비자용 그래픽 카드에서 원활히 돌아가며, 72B는 멀티 GPU 환경이나 양자화된 로컬 실행기가 필요하다. vLLM, Ollama, LM Studio, llama.cpp, MLX 등 대표적인 로컬 프레임워크가 즉시 지원된다.

라이선스 정책도 개방적으로 바뀌었다. 72B 모델은 기존 Qianwen 라이선스를 유지하지만, 0.5B, 1.5B, 7B, 57B-A14B 등 하위 4개 모델은 상업적 활용이 자유로운 Apache 2.0 라이선스로 전환되었다. 가중치는 Hugging Face와 ModelScope에 올라와 있다.

왜 중요한가

로컬 환경에서 안정적인 다국어 처리 능력과 긴 문서 분석 기능을 동시에 확보하려는 개발자에게 Qwen2는 확실한 대안이다. 특히 7B 모델이 128K 컨텍스트와 Apache 2.0 라이선스를 달고 나온 점은 소규모 팀이 사내 문서 검색이나 에이전트를 구축할 때 진입 장벽을 대폭 낮춰준다.

오픈소스 생태계 차원에서도 메타의 Llama 3 독주에 맞설 수 있는 강력한 경쟁자가 등장했다. 영어권 중심 모델들이 종종 약점을 보이는 다국어 문맥 이해와 코딩에서 뛰어난 실력을 보여주며, 실무형 오픈소스 AI의 기준을 한 단계 끌어올렸다.