메이퇀, 엔비디아 없이 훈련한 1.6조 파라미터 LongCat 2.0 오픈소스 공개

메이퇀(Meituan)이 오픈소스로 공개한 LongCat 2.0은 총 파라미터 1.6조 개 규모의 대형 MoE(Mixture of Experts) 모델이다.

토큰당 활성화 파라미터는 약 480억 개로 제한되어 추론 효율을 높였으며, 코드 생성과 에이전트 작업에 특화되었다.

가장 눈에 띄는 점은 하드웨어 인프라다. 메이퇀은 엔비디아 GPU를 단 하나도 쓰지 않고 전용 AI ASIC 슈퍼클러스터만으로 전체 사전 훈련과 대규모 배포를 마쳤다.

학습량은 35조 토큰 이상, 수백만 가속기·일에 달한다. 이 과정에서 훈련 롤백이나 복구 불가능한 손실 급증(loss spike)이 단 한 번도 발생하지 않았으며, 업계에서는 화웨이의 가속기 칩이 사용되었을 가능성이 높다고 보고 있다.

어떻게 구현했나

백만 토큰 수준의 긴 문맥을 다루기 위해 모델에는 LongCat Sparse Attention(LSA)이 적용되었다.

파편화된 HBM 접근을 순차적 읽기로 바꾸어 하드웨어 대역폭을 최대로 활용하고, 인접 레이어 간에 인덱싱을 공유해 어텐션 연산 비용을 획기적으로 줄였다.

여기에 MoE와 별도로 1350억 파라미터 규모의 N-gram 임베딩을 결합해 파라미터 활용도를 끌어올렸다.

자체 벤치마크 결과, 에이전트 코딩 및 추론 평가인 Terminal-Bench 2.1과 SWE-bench Pro 등에서 구글의 Gemini 3.1 Pro를 앞서고 GPT-5.5나 Claude Opus 최신 시리즈에 근접하는 점수를 기록했다.

요구 사양과 테스트 방법

LongCat 2.0은 수정과 상업적 활용에 제약이 거의 없는 MIT 라이선스로 배포되었다.

다만 FP8 버전 파일 용량만 2TB를 넘어가기 때문에 일반 소비자용 GPU로는 실행할 수 없다. 이를 구동하려면 엔터프라이즈급 대규모 멀티 가속기 클러스터가 필수적이다.

배포 프레임워크로는 vLLM과 SGLang을 지원하며, GPU는 물론 NPU 환경 구동도 지원한다. Claude Code, OpenClaw 같은 에이전트 하네스와 연동해 복잡한 코드베이스 편집이나 웹 앱 제작을 처리할 수 있다. 가중치는 허깅페이스에서 다운로드할 수 있고, 웹 브라우저에서는 longcat.ai를 통해 대화형 인터페이스를 바로 사용해볼 수 있다.

왜 중요한가

일반 개발자가 로컬 PC에서 직접 돌리기에는 용량과 장벽이 너무 크다. 커뮤니티에서 더 가벼운 양자화 버전을 만들기 전까지는 웹 데모를 살펴보는 수준에 머물 가능성이 높다.

그러나 인프라 관점에서는 기념비적인 사건이다. 최첨단 대형 모델 훈련은 엔비디아의 쿠다 생태계가 사실상 독점해왔고, 타사 칩을 쓸 경우 시스템 불안정으로 훈련이 중단되기 일쑤였다. 메이퇀이 비(非)엔비디아 ASIC 클러스터로 35조 토큰의 무중단 대규모 학습을 완주하면서, 중국 및 글로벌 AI 기업들의 하드웨어 다각화 속도가 한층 빨라질 것으로 보인다.