메타, 오픈형 LLM '라마 3' 공개…8B·70B 두 가지 크기 제공

라마 3(Llama 3)는 메타가 공개한 차세대 오픈형 대형 언어 모델 제품군이다. 8B와 70B 두 가지 크기로 출시됐으며, 각각 사전 학습된 베이스 모델과 지시 튜닝된 인스트럭트 모델을 제공한다. 입력과 출력의 안전성을 검증하는 라마 가드 2 역시 8B 기반으로 미세조정되어 함께 공개됐다.

모든 모델은 허깅페이스(Hugging Face) 허브에 등록되어 즉시 내려받을 수 있으며, 트랜스포머 라이브러리와 클라우드 환경을 통한 원클릭 배포를 완벽히 지원한다.

주요 사양과 벤치마크 성능

라마 3는 2만 4천 개의 GPU로 구성된 클러스터 두 곳에서 15조 개 이상의 공개 토큰 데이터를 바탕으로 학습됐다. 이는 라마 2 대비 약 8배에 달하는 데이터양이다. 대화형 인스트럭트 모델의 경우 1천만 개 이상의 인간 검수 데이터를 활용해 SFT, 거절 샘플링, PPO, DPO 등 다양한 정렬 기술을 적용했다.

내부 구조에서는 토크나이저 확장이 가장 두드러진다. 어휘 사전 크기가 기존 3만 2천 개에서 12만 8,256개로 대폭 늘어나 텍스트 처리 효율과 다국어 표현력이 향상됐다. 어휘 확장에 따른 임베딩 파라미터 증가로 소형 모델 크기가 기존 7B에서 8B로 늘어났으나, 8B 모델에도 GQA(Grouped-Query Attention)를 적용해 추론 속도를 높였다. 현재 컨텍스트 길이는 8k 토큰이다.

성능 평가 지표인 오픈 LLM 리더보드에서 라마 3 8B는 13.41점을 기록해 라마 2 7B(8.72점)를 크게 앞질렀다. 70B 모델은 26.37점을 기록하며 라마 2 70B(18.25점)는 물론 믹스트랄 8x22B(25.49점)까지 소폭 넘어섰다.

하드웨어 요구 사양도 현실적이다. 라마 3 8B 인스트럭트 모델은 bfloat16 정밀도 기준 약 16GB의 VRAM을 소모해 RTX 3090이나 4090 같은 소비자용 GPU 한 장으로 구동된다. 4비트 양자화를 적용하면 VRAM 점유율이 약 7GB까지 내려가 보급형 그래픽카드나 구글 코랩 무료 환경에서도 무리 없이 돌아간다.

구동 방식과 라이선스

로컬 환경에서는 트랜스포머 4.40 이상 버전으로 손쉽게 불러올 수 있다. torch.compile과 CUDA 그래프를 활용하면 추론 속도를 최대 4배가량 끌어올릴 수 있으며, TRL과 QLoRA를 조합하면 일반 PC 단일 GPU 환경에서도 미세조정이 가능하다.

클라우드의 경우 허깅페이스 인퍼런스 엔드포인트, 구글 클라우드 버텍스 AI 및 GKE, AWS 세이지메이커를 통한 배포가 지원된다. 별도 설치 없이 테스트해 보고 싶다면 허깅챗 웹사이트에서 70B 인스트럭트 모델을 바로 체험할 수 있다.

라이선스는 상업적 재배포와 파생 작업이 허용되는 개방 정책을 유지하지만 표기 규정이 강화됐다. 파생 모델은 명칭 시작 부분에 반드시 'Llama 3'를 표기해야 하며, 서비스 제공 시에도 'Built with Meta Llama 3' 문구를 명시해야 한다.

왜 중요한가

소규모 개발팀과 개인 개발자에게 라마 3 8B는 새로운 표준 도구로 손색이 없다. 7GB 안팎의 그래픽 메모리만으로도 빠르게 돌아가며 로컬 단일 카드 튜닝이 가능한데도 이전 세대 중형 모델 이상의 지능을 보여주기 때문이다.

산업 측면에서도 15조 개 토큰을 쏟아부어 완성한 70B 모델이 오픈 가중치 진영의 핵심 기둥으로 자리 잡게 됐다. 8k에 머문 컨텍스트 길이가 아쉬운 대목이지만, 상용 폐쇄형 API에 의존하지 않고 온프레미스나 독자적인 AI 서비스를 구축하려는 기업들에게 라마 3는 강력한 현실적 대안이다.