메타, 기초 언어모델 'LLaMA' 공개: 최대 650억 파라미터로 연구 커뮤니티 지원

그동안 초거대 언어 모델은 막대한 컴퓨팅 자원을 보유한 소수 빅테크의 전유물처럼 여겨졌습니다.

Meta는 이러한 흐름을 깨고 오픈 연구 생태계를 겨냥한 새로운 기초 언어 모델 LLaMA(Large Language Model Meta AI)를 전격 공개했습니다. 마크 저커버그 CEO는 AI 연구 커뮤니티의 발전을 위해 새 모델을 공유하겠다고 밝혔습니다.

이번에 공개된 모델은 70억(7B), 130억(13B), 330억(33B), 650억(65B) 매개변수의 4가지 크기로 구성됩니다. 핵심은 모델 크기를 대폭 줄이면서도 최상위권 성능을 확보했다는 점입니다.

13B 모델로 175B GPT-3를 넘어서다

Meta 연구진에 따르면, 불과 13B 매개변수를 가진 LLaMA 모델이 1750억 매개변수를 지닌 OpenAI의 GPT-3를 대부분의 언어 벤치마크에서 앞질렀습니다. 특히 이 13B 모델은 엔비디아 테슬라 V100 단일 GPU에서도 구동이 가능합니다.

가장 큰 65B 모델은 구글의 5400억 매개변수 PaLM 모델과 견줄 만하며, 딥마인드의 친칠라(Chinchilla)와 동등한 수준의 성능을 보여줍니다.

비결은 학습 데이터량에 있습니다. 과거 GPT-3가 3천억 토큰으로 학습된 반면, LLaMA는 7B와 13B 모델에 무려 1조 토큰을, 33B와 65B 모델에는 1.4조 토큰을 투입했습니다. Meta 연구팀의 기욤 랑플은 7B 모델의 경우 1조 토큰을 학습한 뒤에도 성능이 계속 향상되는 모습을 보였다고 전했습니다.

공개 데이터 기반 학습과 비상업적 라이선스

학습 데이터의 투명성도 눈에 띕니다. LLaMA는 비공개 독점 데이터 대신 정제된 Common Crawl(약 67%), 깃허브(GitHub), 위키피디아 등 공개된 데이터만 활용해 학습되었습니다.

다만 무제한 상용 배포는 아닙니다. 모델의 편향이나 오용 문제를 방지하기 위해 LLaMA는 연구 목적의 비상업적 라이선스(GPL v3)로 제공됩니다.

학술 연구자, 정부 및 시민사회 관계자, 기업 연구소를 대상으로 개별 신청을 받아 심사 후 모델 가중치 접근 권한을 부여하는 방식을 택했습니다.

왜 중요한가

LLaMA는 초거대 언어 모델의 경쟁 축을 '무작정 키우기'에서 '실질적 효율성'으로 전환시켰습니다.

많은 연구진이 간과했던 것은 서비스 운영 시 발생하는 추론 비용입니다. 모델을 작게 유지하면서 더 많은 데이터로 충분히 학습시키면, 학습 비용은 조금 더 들지 몰라도 대규모 배포 시의 추론 비용과 하드웨어 요구 사항을 극적으로 낮출 수 있습니다.

단일 GPU로 GPT-3급 성능을 다룰 수 있게 되면서, 자본력이 부족한 학계와 독립 연구자들도 언어 모델의 안전성, 편향 검증, 파인튜닝 연구를 직접 수행할 수 있는 길이 열렸습니다.

우리는 폐쇄형 생태계를 구축 중인 OpenAI와 구글에 맞서 Meta가 연구자 진영을 포섭하는 영리한 승부수를 던졌다고 봅니다. 다만 연구 목적의 선별적 배포라는 장치가 커뮤니티 확산 과정에서 얼마나 엄격하게 지켜질지, 모델 가중치 유출 시의 안전 통제 문제는 앞으로 지켜봐야 할 숙제입니다.