메타, 코딩 특화 오픈소스 LLM '코드 라마' 공개

코드 라마(Code Llama)는 코드 생성, 자동 완성, 디버깅 작업에 특화된 오픈소스 대형 언어 모델입니다. 자연어로 작성할 기능을 설명해 새 코드를 생성하거나, 기존 코드를 입력해 오류를 찾고 동작 방식을 설명하도록 요청할 수 있습니다.

이 모델은 범용 모델인 라마 2를 기반으로 5000억 토큰 분량의 코드 및 기술 데이터셋을 추가 학습해 개발되었습니다. 파이썬, C++, 자바, PHP, 타입스크립트, C#, 배시 등 현업에서 널리 쓰이는 주요 언어를 폭넓게 지원합니다.

주요 기능과 특징

기본 모델 외에도 파이썬 데이터 1000억 토큰을 추가 학습한 파이썬 특화 모델과 자연어 지시 수행에 맞춘 코드 라마 인스트럭트(Instruct) 모델이 함께 제공됩니다. 대화형으로 프롬프트를 입력해 코딩 작업을 하려면 인스트럭트 버전을 쓰는 것이 적합합니다.

주목할 부분은 최대 10만 토큰에 달하는 긴 문맥 지원입니다. 라마 2의 4096 토큰 제한을 크게 뛰어넘어, 대규모 프로젝트 코드 전체나 긴 호출 기록을 한 번에 프롬프트로 전달해 전체 맥락을 고려한 디버깅이 가능합니다.

또한 7B와 13B 모델에는 중간 채워넣기(FIM) 능력이 적용되었습니다. 단순히 뒷부분을 이어 쓰는 것을 넘어 기존 코드의 중간 위치에 적절한 구문을 삽입할 수 있어 실시간 코드 자동 완성 도구로 바로 활용할 수 있습니다.

사양과 실행 요구 사항

모델 크기는 7B, 13B, 34B, 그리고 1조 토큰을 학습한 70B까지 총 네 가지로 나뉩니다.

7B 모델은 단일 소비자용 GPU에서도 구동할 수 있어 지연 시간이 중요한 IDE 자동 완성용으로 알맞습니다. 34B와 70B 모델은 응답 품질에 집중한 크기입니다.

벤치마크 테스트에서 코드 라마 34B는 휴먼이발(HumanEval) 53.7%, MBPP 56.2%를 기록하며 다른 오픈소스 모델을 큰 차이로 앞질렀고 챗GPT와 대등한 수준을 보였습니다.

라이선스는 라마 2 커뮤니티 라이선스를 그대로 따라 연구와 상업적 목적 모두 무료로 활용할 수 있습니다.

왜 중요한가

보안 문제로 사내 소스 코드를 외부 클라우드에 업로드하기 어려운 개발 조직에 강력한 로컬 대안을 제공합니다. 깃허브 코파일럿 같은 유료 구독 서비스 없이도 온프레미스 환경에서 높은 수준의 보조 도구를 구축할 수 있습니다.

상용 모델 수준의 코딩 성능을 오픈소스로 완전히 개방하면서, 이를 활용한 경량화 플러그인과 자동화 도구 생태계가 빠르게 확산할 것으로 보입니다.