메타, 첫 MoE 멀티모달 ‘라마 4’ 공개: 최대 1천만 토큰 지원

라마 4 스카우트와 라마 4 매버릭은 메타가 오픈 웨이트로 공개한 차세대 네이티브 멀티모달 AI 모델입니다. 기존 밀집(Dense) 모델 방식에서 벗어나 전문가 혼합(MoE) 아키텍처로 완전히 전환했으며, 두 모델 모두 한 번에 170억 개(17B)의 활성 파라미터만 가동하도록 설계됐습니다.

가장 눈에 띄는 스펙은 문맥 처리 용량입니다. 스카우트 모델은 무려 1,000만 토큰에 달하는 입력 길이를 지원하며, 대형 모델인 매버릭 역시 100만 토큰을 거뜬히 소화합니다.

무엇을 할 수 있는가

두 모델은 텍스트와 이미지를 처음부터 한 덩어리로 학습하는 '초기 융합' 방식을 채택했습니다. 사전 학습 단계에서 최대 48장의 이미지를 동시에 처리할 수 있어, 연속된 비디오 프레임이나 복수 문서 이미지를 분석하는 시각적 추론 성능이 크게 향상됐습니다.

라마 4 매버릭은 총 4,000억 개 파라미터와 128개 전문가 네트워크를 갖춘 주력 범용 모델입니다. 메타 발표에 따르면 코딩, 수학, 다국어 처리, 이미지 벤치마크 전반에서 GPT-4o와 제미나이 2.0을 앞서며, 딥시크 V3.1과도 대등한 코딩 성능을 보여줍니다.

라마 4 스카우트는 총 1,090억 개 파라미터와 16개 전문가로 구성된 고효율 모델입니다. 핵심은 1,000만 토큰에 이르는 방대한 문맥 창으로, 방대한 기업 코드베이스 전체나 수년 치 기록 문서를 한 번에 프롬프트로 밀어 넣어 질의할 수 있습니다.

두 모델 모두 현재 학습 중인 약 2조 개 파라미터 규모의 교사 모델 '라마 4 베히모스'로부터 지식을 증류받았습니다. 베히모스는 MATH-500과 GPQA 다이아몬드 등 주요 STEM 벤치마크에서 GPT-4.5 및 클로드 3.7 소네트를 능가하는 성능을 기록 중입니다.

실행 방법과 기술적 세부사항

활성 파라미터는 17B 수준이지만, 추론을 실행하려면 전체 가중치를 VRAM에 올려두어야 합니다.

가벼운 스카우트 모델은 4비트(Int4) 양자화를 적용하면 단 1장의 엔비디아 H100 GPU에서 직접 구동할 수 있습니다. 8비트나 FP16으로 실행할 경우 멀티 GPU 환경이 필요합니다.

총 파라미터가 4,000억 개에 달하는 매버릭은 단일 8-GPU 엔비디아 H100 DGX 호스트 환경 배포를 권장하며, FP8 양자화 가중치도 공식 지원해 인프라 부담을 덜어줍니다.

1,000만 토큰을 달성하기 위해 메타는 위치 인코딩이 없는 레이어를 교차 배치하는 'iRoPE' 구조를 도입했습니다. 현재 허깅페이스와 llama.com에서 라마 4 커뮤니티 라이선스 동의 후 가중치를 다운로드할 수 있으며, transformers v4.51.0 버전부터 바로 연동됩니다.

왜 중요한가

개발자 관점에서 스카우트가 제공하는 1,000만 토큰 문맥은 복잡한 RAG 파이프라인의 필요성을 획기적으로 줄여줍니다. 단 한 장의 H100 환경에서 초대형 코드베이스나 방대한 규정집을 통째로 분석할 수 있다는 점은 엄청난 실용적 이점입니다.

우리는 메타의 MoE 전환이 매우 시의적절하고 영리한 선택이었다고 봅니다. 17B 수준의 가벼운 추론 지연 시간으로 최상위 폐쇄형 모델에 근접하는 멀티모달 능력을 개방형 생태계에 풀었기 때문입니다. 고사양 하드웨어가 여전히 필요하긴 하지만, 현존하는 오픈소스 파운데이션 모델 중 가장 강력한 대안임이 분명합니다.