DeepSeek Coder V2 오픈소스 공개, GPT-4 Turbo 코딩 성능 추월

DeepSeek Coder V2는 코딩과 수학 분야에서 GPT-4 Turbo와 Claude 3 Opus를 넘어선 성능을 보여준 완전 오픈소스 코드 언어 모델이다.

이전 세대와 비교해 실무 활용도가 대폭 확장되었다. 지원하는 프로그래밍 언어가 86개에서 338개로 늘어났고, 컨텍스트 창 역시 기존 16K에서 128K 토큰으로 대폭 넓어져 대규모 코드베이스 분석이나 다중 파일 리팩터링 작업도 수월하게 처리한다.

어떻게 만들었나

이 모델은 MoE(Mixture of Experts) 구조를 갖춘 DeepSeek-V2를 기반으로 개발되었다. 기본 모델 위에 6조 토큰의 고품질 데이터를 추가 학습시켜 전체 학습량이 10.2조 토큰에 이른다.

추가 데이터의 60%는 GitHub와 CommonCrawl에서 수집한 소스 코드이며, 10%는 수학 데이터, 30%는 자연어로 채워졌다.

모델은 16B와 236B 두 가지 파라미터 옵션으로 제공된다. MoE 아키텍처 특성상 실제 추론 시 활성화되는 파라미터는 16B 모델이 2.4B, 236B 모델이 21B에 불과하다. 대형 모델의 추론 성능을 유지하면서도 인프라 운영 비용을 크게 낮췄다.

실측 성능과 한계점

코드 생성 및 디버깅 능력을 측정하는 벤치마크에서 236B 모델은 HumanEval 90.2점, MBPP+ 76.2점, Aider 73.7점을 기록했다.

Llama 3-70B나 Codestral 같은 오픈소스 계열은 물론, GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro 등 주요 상용 모델들을 모두 앞질렀다. 주요 코딩 지표에서 이 모델보다 앞선 것은 근소한 차이를 보인 GPT-4o뿐이다.

GSM8K와 MATH 등 수학 벤치마크에서도 최상위 폐쇄형 모델들과 대등한 실력을 보였다. 다방면의 언어 이해도를 보는 MMLU는 79.2점으로 GPT-4o의 88.7점에는 미치지 못하지만, Llama 3-70B에 준하는 수준으로 코드 특화 모델치고는 일상적 자연어 대화에 충분하다.

다만 개발팀은 지시 수행(instruction following) 능력에서 여전히 개선의 여지가 있다고 짚었다. 실제 복잡하고 조건이 많은 프로그래밍 프롬프트를 처리할 때는 세부 요구사항을 놓치지 않도록 주의가 필요하다.

사용 방법과 라이선스

DeepSeek Coder V2는 완전한 MIT 라이선스로 배포되어 연구뿐 아니라 상업적 활용에도 아무런 제약이 없다.

16B와 236B 크기의 Base 및 Instruct 모델 가중치는 모두 Hugging Face에서 내려받을 수 있다. 로컬 하드웨어 여력이 부족한 사용자를 위해 공식 플랫폼을 통한 종량제 API와 웹 브라우저에서 바로 써볼 수 있는 챗봇도 함께 제공된다.

왜 중요한가

사내 소스 코드 보안이 중요한 기업이나 독자적인 개발 보조 환경을 꾸리려는 엔지니어에게 현시점 가장 먼저 검토해야 할 모델이다. 최고 수준의 코딩 AI를 쓰려면 무조건 상용 API에 코드를 보내야 했던 공식이 깨졌다.

우리는 활성 파라미터 비율을 낮춘 MoE 설계를 통해 최고 수준의 코딩 성능을 합리적인 비용으로 개방했다는 점을 높게 평가한다. 이는 상용 코드 생성 API 시장의 가격 인하를 촉진할 것으로 보인다. 다만 복잡한 자동화 파이프라인에 투입할 계획이라면 지시 이행 능력의 편차를 감안해 프롬프트를 꼼꼼히 검증할 필요가 있다.