Meta, Llama 3.1 공개: GPT-4o 맞먹는 405B 오픈소스와 증류 허용

Llama 3.1은 Meta가 공개한 오픈소스 대형 언어 모델 제품군입니다. 8B, 70B, 그리고 4050억 파라미터에 달하는 405B 플래그십 모델로 구성되며, 각 크기별로 사전 훈련 모델과 지시 튜닝 모델이 함께 제공됩니다. 이전 세대의 8K에 불과했던 컨텍스트 윈도우를 128K로 대폭 확장했으며 8개 언어를 지원합니다.

가장 중요한 변화는 라이선스 정책의 개정입니다. Meta는 Llama 3.1(특히 405B)의 출력 데이터를 활용해 다른 AI 모델을 개선, 훈련, 증류하는 행위를 공식적으로 허용했습니다. 이제 개발자들은 약관 위반 걱정 없이 대형 모델의 지식을 소형 모델에 합법적으로 전수할 수 있습니다.

무엇을 할 수 있는가

플래그십인 405B는 현재 공개된 가중치 모델 중 가장 거대한 밀집 모델입니다. 150개 이상의 벤치마크 데이터셋과 사람을 통한 블라인드 평가에서 GPT-4, GPT-4o, Claude 3.5 Sonnet과 같은 정상급 폐쇄형 모델들과 대등한 성능을 입증했습니다.

인스트럭트 모델은 에이전트 도구 호출 능력이 크게 개선되었습니다. 웹 검색과 Wolfram Alpha 계산 엔진이 기본 탑재되었으며, 사용자 정의 JSON 함수 호출도 유연하게 지원합니다.

405B 모델 훈련에는 1만 6000개 이상의 H100 GPU가 투입되었고 15조 개가 넘는 토큰을 학습했습니다. 안전성 확보를 위해 다국어 입출력 필터링 모델인 Llama Guard 3와 프롬프트 주입 공격을 탐지하는 279M 크기의 경량 모델 Prompt Guard도 함께 오픈소스로 공개되었습니다.

실행 방법과 요구 사양

필요한 하드웨어 스펙은 선택하는 모델 크기에 따라 극명하게 갈립니다. 가장 작은 8B 모델은 일반 소비자용 단일 GPU에서도 가볍게 구동되며 파인튜닝까지 진행할 수 있습니다.

70B는 기업용 인프라에 적합합니다. 405B의 경우 원본 정밀도로 실행하려면 거대한 GPU 클러스터가 필요하지만, 공식 FP8 양자화 모델을 활용하면 8개의 GPU를 장착한 단일 서버 노드에서도 추론이 가능합니다.

모든 모델 가중치는 llama.meta.com과 Hugging Face에서 무료로 다운로드할 수 있습니다. 자체 인프라 없이 체험해보고 싶다면 Hugging Chat 웹페이지에서 바로 써볼 수 있으며, AWS, Google Cloud, Groq 등의 파트너사를 통해 API로 호출할 수도 있습니다.

왜 중요한가

모든 개발자가 405B 모델을 직접 서빙할 필요는 없습니다. 이번 릴리스의 핵심 가치는 405B를 '선생님'으로 삼아 고품질 합성 데이터를 뽑아내고, 이를 8B 모델에 증류해 나만의 전용 소형 모델을 구축할 수 있게 되었다는 점입니다.

Meta가 GPT-4o급 모델의 가중치를 증류 허용 조건과 함께 공개한 것은 오픈소스 생태계의 판도를 완전히 바꾼 조치로 평가할 수 있습니다. 독점 API 판매에 의존하던 폐쇄형 AI 진영은 가격과 성능 모두에서 거센 도전을 받게 될 것입니다.