UC 버클리, 450달러로 학습한 o1급 추론 모델 'Sky-T1' 오픈소스 공개

Sky-T1-32B-Preview는 복잡한 수학과 코딩에서 OpenAI의 o1-preview 수준을 달성하면서도, 학습 비용을 450달러 미만으로 줄인 완전 오픈소스 추론 모델이다.

미국 UC 버클리의 NovaSky 팀이 개발한 이 프로젝트는 상용 모델의 폐쇄적인 추론 기술 장벽을 깨뜨렸다. 가중치만 제공하는 일반적인 공개 모델과 달리, 32B 모델 가중치는 물론 1만 7천 건의 학습 데이터, 전체 파이프라인 코드와 학습 로그까지 모두 깃허브와 허깅페이스에 공개했다.

450달러로 구현한 비결

처음부터 막대한 연산 자원을 투입해 사전 학습하는 대신 고효율 미세조정 방식을 택했다. 베이스 모델로 오픈소스인 Qwen2.5-32B-Instruct를 채택하고, Llama-Factory와 DeepSpeed Zero-3를 활용해 8대의 H100 GPU에서 단 19시간 만에 학습을 끝냈다. 람다 클라우드 기준 비용은 450달러가 채 안 된다.

핵심은 정밀한 데이터 큐레이션이다. 알리바바의 QwQ-32B-Preview를 활용해 생각의 흐름을 생성한 뒤, 정답과 단위 테스트를 통과한 데이터만 골라내는 기각 샘플링을 거쳤다. 수학 문제는 정답과의 일치 여부로 검증하고, 코딩 문제는 유닛 테스트를 직접 실행해 통과한 것만 남겼다.

여기에 GPT-4o-mini를 써서 생각 과정을 파싱하기 쉬운 정돈된 포맷으로 재작성했다. 추론 모델이 코드 중간에 답을 적어 평가 도구가 오답 처리하던 문제를 바로잡자, APPs 벤치마크 정확도가 25% 수준에서 90% 이상으로 급등했다. 최종 데이터는 수학 1만 건, 코딩 5천 건, 과학 퍼즐 1천 건으로 완성됐다.

실제 성능과 한계점

벤치마크 결과는 o1-preview에 근접하거나 일부 앞선다. 고난도 수학 시험인 AIME 2024에서 43.3%를 기록해 o1-preview의 40.0%와 베이스 모델의 16.7%를 넘어섰다. 코딩 평가인 LiveCodeBench-Hard에서도 17.9%로 o1-preview의 16.3%를 소폭 앞섰다.

다만 고난도 과학 상식을 묻는 GPQA-Diamond에서는 56.8%에 머물러 o1-preview의 75.2%와는 여전히 격차가 있다.

모델 크기 축소에는 한계가 있었다. 7B나 14B 크기 모델로 실험했을 때는 문장을 계속 반복하는 문제가 발생해 제대로 된 성능을 내지 못했다. 현재 코드와 가중치는 허깅페이스와 깃허브에서 바로 내려받을 수 있다.

왜 중요한가

긴 생각 과정을 거치는 추론 AI는 막대한 자본을 가진 빅테크의 전유물로 여겨졌다. Sky-T1은 우수한 베이스 모델과 정교한 데이터 정제 기법만 결합하면, 단돈 수십만 원으로도 상용 추론 모델에 필적하는 모델을 만들 수 있음을 증명했다.

자체 도메인에 특화된 추론 모델이 필요한 개발자나 연구팀에게 이 프로젝트는 실질적인 청사진을 제공한다. 값비싼 상용 API의 블랙박스 추론 토큰에 의존하지 않고도, 공개된 레시피를 바탕으로 특정 산업군에 맞춘 자체 추론기를 저비용으로 직접 구축할 수 있게 됐다.