투게더AI, o3-mini급 성능 갖춘 '딥코더-14B' 오픈소스 공개

딥코더-14B-프리뷰(DeepCoder-14B-Preview)는 투게더AI와 아젠티카 팀이 협력해 공개한 오픈소스 코드 추론 모델이다. 14B 크기의 소형 파라미터로도 오픈AI의 o3-mini와 맞먹는 고난도 프로그래밍 문제 해결 능력을 보여준다.

이 모델은 Deepseek-R1-Distilled-Qwen-14B를 기반으로 분산 강화학습(RL)을 적용해 미세조정됐다. 라이브코드벤치(LiveCodeBench) 평가에서 베이스 모델 대비 8% 향상된 60.6%의 Pass@1 정확도를 기록하며 o3-mini 및 o1 수준에 나란히 올라섰다.

어떻게 학습했나

수학 영역에서는 강화학습을 통한 모델 성능 확장이 빠르게 일어났지만, 코딩 영역은 검증 가능한 양질의 데이터가 부족해 발전이 더뎠다. 기존 데이터셋은 문제가 지나치게 쉽거나 테스트 케이스가 부실해, 모델이 정답만 외워 출력하는 부작용이 자주 발생했다.

연구팀은 이를 극복하기 위해 검증 가능한 2만 4천 개의 고품질 문제 데이터셋을 구축했다. TACO Verified에서 7,500개, 프라임인텔렉트의 SYNTHETIC-1에서 1만 6천 개, 라이브코드벤치에서 600개를 추려냈다.

모든 문제는 공식 모범 답안으로 테스트를 완벽히 통과해야 했고, 단순 암기를 방지하기 위해 문제당 최소 5개 이상의 단위 테스트를 포함하도록 필터링했다. 평가 데이터 오염을 막기 위한 중복 제거도 철저히 거쳤다.

학습에는 32대의 H100 GPU가 투입돼 2.5주 동안 진행됐다. 반복적인 코드 검증 병목을 해결하기 위해 연구진은 강화학습 파이프라인을 2배 가속하는 'verl-pipe' 프레임워크를 개발하고 병렬 샌드박스 환경을 구축했다.

공개 범위와 실행 방법

이번 배포는 모델 가중치에 그치지 않고 완벽한 오픈소스로 이뤄졌다. 딥코더-14B-프리뷰 모델뿐만 아니라 2만 4천 개 훈련 데이터셋, 전체 코드, 학습 로그, 시스템 최적화 기법이 모두 공개됐다.

관련 자료는 깃허브 저장소에서 바로 확인할 수 있다. 자체 모델을 미세조정하거나 재현하려는 개발자는 verl-pipe 프레임워크와 샌드박스를 연동해 직접 학습 환경을 구동할 수 있다.

왜 중요한가

자체 인프라에서 코딩 에이전트를 운영하려는 개발자와 연구팀에게 딥코더-14B는 매우 실용적인 대안이다. 값비싼 비공개 API를 쓰지 않고도 14B 크기 모델로 경쟁력 있는 알고리즘 추론 성능을 확보할 수 있기 때문이다.

우리는 이들이 코드 강화학습의 전체 레시피를 투명하게 공개했다는 점에 주목한다. 엄격한 단위 테스트 검증과 고속 샌드박스 환경만 갖추면 소형 모델로도 최상위 추론 모델을 따라잡을 수 있음을 입증해 보였다.