스태빌리티 AI, 첫 코딩 특화 모델 '스테이블 코드 알파' 공개

이미지 생성 AI로 잘 알려진 Stability AI가 이번에는 소프트웨어 개발 영역으로 발을 넓혔습니다.

Stability AI는 자체 최초의 코딩 특화 생성형 AI 모델인 'Stable Code Alpha 3B'를 공식 발표했습니다. 개발자의 일상적인 코딩 업무를 보조하는 동시에, 코딩을 배우는 초보 개발자들의 학습을 돕기 위해 설계된 제품입니다.

30억(3B) 매개변수라는 비교적 가벼운 체급이지만, 단순한 단일 모델이 아니라 목적에 맞춘 세 가지 모델 구성을 내세웠습니다.

3가지 모델 분화와 5,600억 토큰 학습

Stable Code Alpha는 기본 모델(Base model), 지시 튜닝 모델(Instruction model), 긴 문맥 창 모델(Long-context window model)의 세 가지로 나뉩니다.

기본 모델은 BigCode의 stack-dataset(v1.2)을 바탕으로 구축되었으며, Python, Go, Java, JavaScript, C, C++, 마크다운 등 주요 언어를 추가 학습했습니다. Stability AI의 HPC 클러스터에서 총 5,600억 토큰 분량의 코드를 학습에 투입했습니다.

복잡한 프로그래밍 작업을 해결하기 위한 지시 모델은 기본 모델을 바탕으로 추가 튜닝되었습니다. 약 12만 건의 알파카(Alpaca) 포맷 기반 코드 지시어-응답 쌍 데이터를 사용해 정교함을 높였습니다.

16,000 토큰 문맥 지원, 파일 5개 동시 검토

코드 자동완성에서 가장 중요한 요소는 주변 맥락 파악입니다. Stable Code의 롱 컨텍스트 모델은 한 줄 및 여러 줄 단위의 자동완성을 위해 16,000 토큰 크기의 문맥 창을 제공합니다.

이는 기존에 공개된 비슷한 규모의 오픈 모델 대비 2배에서 4배에 달하는 수준입니다. 평균 크기의 파이썬 파일 기준으로 최대 5개 분량을 한 번에 모델에 넣어 검토하거나 수정할 수 있는 용량입니다.

성능 평가는 업계 표준인 HumanEval 벤치마크를 활용해 pass@1 및 pass@10 지표를 기준으로 삼았으며, 유사한 매개변수와 토큰을 학습한 다른 모델들과의 비교가 이루어졌습니다.

왜 중요한가

이 제품의 핵심 경쟁력은 3B라는 컴팩트한 크기에 있습니다. 대형 클라우드 API에 의존하거나 값비싼 엔터프라이즈 GPU를 대여하지 않고도, 일반 개인용 PC나 개발자 노트북 환경에서 로컬 구동을 시도해 볼 수 있는 크기이기 때문입니다.

특히 자동완성 모델에 16k 문맥 창을 집중 부여하고, 복잡한 프롬프트 처리는 12만 건의 지시 데이터로 다듬은 모델에 맡기는 등 역할을 분리한 접근은 영리합니다. 작은 매개변수 모델이 흔히 겪는 한계를 작업 분할로 보완하려는 시도로 보입니다.

다만 3B 체급의 한계도 분명합니다. 복잡한 시스템 아키텍처를 설계하거나 여러 모듈이 얽힌 예외 처리를 수행할 때는 대규모 모델에 비해 추론 깊이가 얕을 수밖에 없습니다. 16k 문맥 안에서 얼마나 환각 없이 정확한 문법을 유지하는지가 실제 활용성을 가를 기준이 될 것입니다.