웨이보 AI, 7800달러로 훈련한 소형 추론 모델 'VibeThinker-1.5B' 오픈소스 공개

VibeThinker-1.5B는 웨이보 AI가 오픈소스로 공개한 15억 파라미터 크기의 초경량 추론 특화 언어 모델입니다. 복잡한 알고리즘 코딩과 경시대회 수준의 수학 문제를 풀기 위해 설계되었습니다.

총 훈련 비용은 단 7800달러에 불과하며, 베이스 모델로는 Qwen2.5-1.5B를 사용했습니다. 작은 덩치에도 불구하고 대형 모델 수준의 논리 추론 성능을 보여줍니다.

무엇을 할 수 있나

웨이보 AI는 이 모델을 리트코드나 코드포스 같은 알고리즘 문제와 경시대회 수학 문제 해결용으로 명확히 정의했습니다.

벤치마크 결과는 놀랍습니다. 대표적인 수학 경시 벤치마크인 AIME24, AIME25, HMMT25에서 각각 80.3점, 74.4점, 50.4점을 기록했습니다.

이는 파라미터가 400배 이상 큰 초기 딥시크 R1의 점수(79.8점, 70.0점, 41.7점)를 모두 넘어선 수치입니다. 공식 설명에 따르면 GPT OSS-20B Medium과 맞먹는 추론 성능을 달성했습니다.

코드 생성 벤치마크인 LiveCodeBench에서도 v5 55.9점, v6 51.1점을 기록해 Magistral Medium의 50.3점을 앞섰습니다.

다만 이 모델은 소형 모델의 추론 잠재력을 탐색하기 위한 실험적 배포판입니다. 일상 대화나 범용 텍스트 작성에는 적합하지 않으며, 영어로 질문했을 때 가장 뛰어난 성능을 발휘합니다.

어떻게 만들었고 어떻게 실행하나

단돈 7800달러로 이런 성능을 뽑아낸 비결은 웨이보 팀이 고안한 '스펙트럼 투 시그널 원칙(SSP)' 훈련 파이프라인 덕분입니다.

지도 미세조정(SFT) 단계에서 먼저 다양한 문제 해결 경로를 폭넓게 탐색하도록 유도한 뒤, 강화학습(RL) 단계에서 정답 신호를 집중적으로 강화하는 방식입니다.

직접 사용해보는 과정도 매우 간단합니다. MIT 라이선스로 배포되어 누구나 자유롭게 쓸 수 있으며, 가중치는 허깅페이스와 모델스코프에 공개되어 있고 논문도 아카이브(arXiv)에 등록되었습니다.

15억 파라미터에 불과해 일반 소비자용 그래픽카드나 가벼운 로컬 환경에서도 쉽게 구동됩니다. 트랜스포머 라이브러리뿐 아니라 vLLM, SGLang, 도커 환경을 모두 지원합니다.

공식 팀은 모델이 충분히 사고 과정을 펼칠 수 있도록 최대 토큰 길이를 40960으로 늘리고, 온도를 0.6 또는 1.0으로 설정하는 것을 권장합니다.

왜 중요한가

알고리즘 문제를 풀거나 로컬 환경에서 전문적인 추론 엔진을 돌려보고 싶은 개발자라면 당장 써볼 가치가 충분합니다. 값비싼 클라우드 API나 대형 GPU 서버 없이도 엔트리급 GPU 한 장으로 수준 높은 논리 전개 과정을 직접 확인할 수 있습니다.

파라미터 규모를 무작정 키우지 않고 정교한 강화학습 설계만으로도 소형 모델이 특정 영역에서 거대 모델을 앞지를 수 있음을 증명했습니다. 범용 능력이 떨어지는 명확한 한계는 있지만, 수학과 코딩에 집중된 고효율 경량 추론기로서는 매우 매력적인 선택지입니다.