알리바바, 397B 능가하는 코딩 특화 오픈소스 모델 'Qwen3.6-27B' 공개

Qwen3.6-27B는 알리바바 Qwen 팀이 공개한 270억 매개변수 규모의 고밀도(dense) 오픈소스 모델이다. 코딩 에이전트 작업과 멀티모달 추론에 특화되었으며 아파치 2.0 라이선스로 완전 개방됐다. 가장 큰 특징은 주요 코딩 벤치마크 전반에서 이전 세대의 거대 MoE 모델인 Qwen3.5-397B-A17B를 뛰어넘었다는 점이다.

무엇을 할 수 있나

이 모델은 단일 함수 작성을 넘어 전체 코드 저장소 수준의 다중 파일 편집과 프론트엔드 작업에 맞춰 훈련됐다. 자율 소프트웨어 엔지니어링 벤치마크인 SWE-bench Verified에서 77.2점을 기록해 Claude 4.5 Opus의 80.9점에 근접하는 성과를 냈다. 프론트엔드 생성 능력을 측정하는 QwenWebBench에서도 전작 Qwen3.5-27B의 1068점을 훌쩍 뛰어넘는 1487점을 달성했다.

추론 방식에서는 사고 모드와 비사고 모드를 모두 지원한다. 특히 이번에 도입된 '사고 보존(Thinking Preservation)' 기능이 눈에 띈다. 다중 턴 대화에서 이전 단계의 추론 과정을 버리지 않고 그대로 유지해, 에이전트가 매 턴마다 추론을 처음부터 다시 반복하는 낭비를 줄이고 토큰 소모를 크게 절감한다.

텍스트 외에도 이미지와 동영상 입력을 네이티브로 처리하며, 기본 262K에서 YaRN 적용 시 최대 1M 토큰까지 컨텍스트를 확장할 수 있어 방대한 프로젝트 코드도 무리 없이 읽어 들인다.

하이브리드 아키텍처와 구동 환경

27B라는 비교적 컴팩트한 크기에서 이런 효율을 낼 수 있었던 핵심은 하이브리드 주의집중 메커니즘이다. 전체 64개 층 중 4개 층마다 3개 층에 선형 복잡도를 가진 Gated DeltaNet을 적용하고, 1개 층에만 표준 주의집중 방식을 배치했다. 이를 통해 긴 문맥을 처리할 때 계산 비용과 메모리 점유율을 크게 낮췄다.

또한 멀티 토큰 예측(MTP) 기술을 지원해 추론 시 투기적 디코딩을 활용한 빠른 생성 속도를 제공한다.

가중치는 허깅페이스와 모델스코프에서 기본 BF16 버전과 블록 크기 128의 정밀 FP8 양자화 버전으로 제공된다. vLLM, SGLang, Transformers, KTransformers 등 주요 프레임워크와 호환되며, 자체 인프라 없이 테스트해보고 싶다면 웹 인터페이스인 Qwen Studio에서 바로 체험해볼 수 있다.

왜 중요한가

자체 인프라에서 코딩 에이전트를 돌리려는 개발자나 엔지니어링 팀에게 Qwen3.6-27B는 매우 매력적인 대안이다. 기존에는 이 정도 성능을 내려면 값비싼 상용 API를 호출하거나 서버 여러 대를 묶어 거대한 수천억 파라미터 MoE 모델을 구동해야 했다. 하지만 27B 고밀도 모델의 FP8 버전을 활용하면 일반적인 워크스테이션 수준에서도 사내 소스코드를 외부로 유출하지 않고 안전하게 구동할 수 있다.

우리는 알리바바가 벤치마크 점수 과시 대신 실질적인 개발 워크플로와 하이브리드 선형 구조에 집중한 점을 매우 긍정적으로 평가한다. 적절한 아키텍처 혁신이 뒷받침된다면 훨씬 작은 고밀도 모델이 거대 MoE 모델을 실무 성능에서 능가할 수 있음을 입증한 결과다.