메타, 10만 토큰 지원하는 코드 생성 모델 ‘코드 라마 70B’ 공개

코드 라마 70B(Code Llama 70B)는 메타가 공개한 오픈 소스 대규모 코드 생성 모델이다. 2023년 8월 출시된 코드 라마 라인업의 최상위 버전으로, 텍스트 명령어나 코드 조각을 입력받아 파이썬, C++, 자바스크립트, 자바 등 다양한 언어의 알고리즘 구현, 정렬, 검색 로직을 작성해 준다.

가장 큰 특징은 10만 토큰에 달하는 대형 컨텍스트 창이다. 방대한 양의 문서나 대형 프로젝트 코드를 한 번에 문맥으로 전달해 파일 간 참조와 복잡한 버그 수정을 다룰 수 있다.

모델의 기능과 세 가지 버전

코드 라마 70B는 5000억 토큰 분량의 코드 및 관련 데이터로 학습되었으며, 셀프 어텐션 기법을 통해 코드 구조를 파악한다. 이번 출시는 목적에 따라 세 가지 변형 모델로 제공된다.

기본 모델인 CodeLlama-70B는 범용 코드 완성과 생성 작업을 수행한다. 자연어 지시를 이해하고 대화형으로 작업할 수 있도록 미세 조정된 CodeLlama-70B-Instruct도 함께 제공된다.

파이썬 개발에 집중하는 사용자를 위한 CodeLlama-70B-Python도 포함되었다. 기본 학습 외에 1000억 토큰의 파이썬 코드를 추가로 학습시켜, 메타에 따르면 파이썬 코드 생성 시 압도적인 유창성과 정확도를 보여준다.

다운로드와 라이선스

코드 라마 70B는 이전 모델들과 동일한 오픈 라이선스 조건으로 메타 공식 채널을 통해 무료로 내려받을 수 있다. 이 라이선스는 학술 연구뿐만 아니라 상업적 활용과 자체 미세 조정을 허용한다.

마크 저커버그 메타 CEO는 코드 작성과 편집이 오늘날 AI 모델의 가장 중요한 활용처 중 하나로 떠올랐으며, 코딩 능력이 다른 영역에서도 정보를 엄밀하고 논리적으로 처리하는 데 기여한다고 밝혔다.

왜 중요한가

코드 유출 우려 때문에 깃허브 코파일럿이나 구글 듀엣 AI, 제미나이 프로 같은 상용 클라우드 도구를 도입하기 어려웠던 개발 팀에게 훌륭한 대안을 제시한다. 자체 인프라에서 민감한 내부 코드를 보호하면서 최신 성능의 AI 코딩 환경을 구축할 수 있기 때문이다.

다만 700억 파라미터 모델과 10만 토큰 컨텍스트를 로컬에서 구동하려면 고사양의 GPU 장비가 필수적이다. 가벼운 개인 프로젝트보다는 사내 코드베이스에 맞춘 독자적인 코딩 비서를 직접 구축하려는 엔지니어링 팀에 현재 가장 적합한 오픈 소스 선택지다.