메타, Llama 3 준비설: GPT-4급 성능 목표에 무료 공개 유지하나

실리콘밸리의 기술 교류 행사에서 흘러나온 잡담이 때로는 공식 발표보다 더 큰 파장을 일으키곤 합니다.

구글 브레인 출신의 현 오픈AI 엔지니어 제이슨 웨이가 메타가 주최한 생성형 AI 밋업 행사에서 전해 들은 이야기를 공개했습니다. 메타 내부 대화에 따르면, 메타는 이미 라마 3와 라마 4를 훈련하기에 충분한 컴퓨팅 파워를 확보했으며, 라마 3의 성능 목표를 GPT-4 수준으로 잡고 이전과 마찬가지로 무료 공개 라이선스를 유지할 계획이라는 내용입니다.

밋업에서 흘러나온 라마 3 개발설

웨이 자체는 신뢰할 만한 소식통이지만, 전해 들은 대화 내용이 와전되었거나 메타의 향후 계획이 변경될 가능성은 여전히 존재합니다. 메타는 라마 3의 출시 여부나 일정에 대해 일절 공식 입장을 내놓지 않았습니다.

다만 메타의 개발 속도를 고려하면 기대감은 높습니다. 메타는 2023년 2월 말 라마 1을 공개한 지 불과 5개월 만인 7월 말에 라마 2를 내놓은 바 있습니다.

GPT-4를 따라잡기 위한 기술적 과제

하지만 라마 2에서 라마 3로 넘어가는 과정은 단순히 데이터를 더 붓고 모델 크기를 키우는 것보다 훨씬 까다로울 전망입니다.

업계에서는 GPT-4가 약 1,110억 개 파라미터로 구성된 16개의 전문가 네트워크를 묶은 MoE(Mixture of Experts) 아키텍처를 채택해 높은 성능을 내는 것으로 보고 있습니다. 표준적인 고밀도 모델 방식을 유지해 온 라마 시리즈가 이를 모방하거나 따라잡으려면 설계 구조 자체를 대대적으로 뜯어고쳐야 할 수도 있습니다.

현재 라마 2는 일부 활용 영역에서 GPT-3.5 수준에 도달했고, 라마 2 기반으로 최근 공개된 코드 라마는 벤치마크에 따라 GPT-4에 근접한 코딩 성능을 보이기도 했습니다. 그러나 메타 역시 라마 2 논문에서 인정했듯, GPT-4나 구글 PaLM-2 같은 폐쇄형 프론티어 모델과의 전반적인 격차는 여전히 뚜렷합니다.

왜 중요한가

우리는 라마 3가 실제로 GPT-4급 성능으로 무료 배포된다면 상용 AI 생태계의 가격 정책이 뿌리째 흔들릴 것으로 봅니다.

기업과 개발자 관점에서 지금의 가장 큰 고민은 최고 수준의 추론 성능을 쓰기 위해 오픈AI API에 막대한 비용을 내고 데이터 유출 위험을 감수해야 한다는 점입니다. 만약 GPT-4급의 완전 무료 오픈소스 대안이 생긴다면, 기업들은 민감한 데이터를 외부로 보내지 않고 사내 인프라에 모델을 구축하는 쪽을 택할 가능성이 높습니다.

전략적으로 볼 때 메타는 과거 구글이 모바일 시장에서 안드로이드로 펼쳤던 전략을 재현하고 있습니다. 파이낸셜 타임스가 보도했듯 메타의 진짜 목적은 오픈AI의 시장 독점을 무너뜨리는 것입니다. 메타는 모델 API 판매로 수익을 낼 필요가 없기 때문에, 기반 기술을 무료로 풀어 오픈소스 생태계가 알아서 모델을 최적화하고 도구를 만들도록 유도하고 있습니다.

다만 경쟁 상대들도 가만히 있지는 않습니다. 샘 알트먼 오픈AI CEO는 6월 초 GPT-5 훈련 시작까지 갈 길이 멀다고 밝혔지만, 구글은 올해 말이나 내년 초 차세대 멀티모달 모델인 제미나이를 공개할 예정입니다. 라마 3가 개발을 마쳤을 시점에는 시장의 최전선 기준이 한 단계 더 올라가 있을 가능성도 배제할 수 없습니다.