미니맥스, 400만 토큰 처리하는 'MiniMax-01' 오픈소스 공개

미니맥스가 초장문 처리에 특화된 오픈소스 모델 라인업 'MiniMax-01' 시리즈를 공개했습니다. 텍스트 언어 모델인 MiniMax-Text-01과 시각 멀티모달 모델인 MiniMax-VL-01 두 가지로 구성됩니다. 가장 핵심적인 스펙은 최대 400만 토큰에 달하는 컨텍스트 창으로, 기존 상용 선도 모델보다 20배에서 32배가량 깁니다.

방대한 분량의 전문 서적 수십 권이나 대형 소프트웨어 코드베이스 전체를 쪼개지 않고 한 번에 입력해 분석할 수 있는 수준입니다.

400만 토큰을 가볍게 처리하는 구조

기존 트랜스포머 구조는 입력 길이가 길어질수록 연산 비용이 제곱으로 폭증해 초장문 처리에 한계가 있었습니다. 미니맥스는 선형 복잡도를 갖는 라이트닝 어텐션 구조를 대규모 상용 모델에 처음으로 전면 적용했습니다.

구체적으로는 8개 레이어마다 7개 층에 선형 어텐션 기반의 라이트닝 어텐션을 배치하고, 1개 층에만 기존 소프트맥스 어텐션을 섞는 방식을 썼습니다. 연산 부담을 선형 수준으로 낮추면서도 모델의 복합 추론 성능을 보존한 셈입니다.

전체 파라미터는 4560억 개 규모의 MoE 구조이며, 추론 시 활성화되는 파라미터는 459억 개입니다. 400만 토큰 길이의 바늘 찾기 검색 벤치마크에서는 100% 정확도를 기록했습니다.

공개 범위와 사용 방법

두 모델의 가중치 전체는 미니맥스 깃허브 저장소를 통해 공개되었습니다. 다만 4560억 개 파라미터 크기 특성상 자체 인프라에서 구동하려면 고사양 엔터프라이즈 GPU 클러스터가 필수적입니다.

모델 성능을 직접 체험해 보려면 웹 기반 서비스인 MiniMax Chat을 이용하면 됩니다. 자체 시스템에 연동하려는 개발자는 플랫폼 API를 활용할 수 있으며, 이용 요금은 100만 입력 토큰당 0.2달러, 100만 출력 토큰당 1.1달러입니다.

왜 중요한가

장기 기억을 유지해야 하는 자율형 AI 에이전트나 대규모 코드베이스 분석 도구를 만드는 개발팀에게 400만 토큰을 지원하는 오픈소스 모델의 등장은 실질적인 대안이 됩니다. 컨텍스트 크기 제약으로 데이터 파편화 문제를 겪고 있었다면 직접 검토해 볼 가치가 충분합니다.

아울러 4000억 개가 넘는 초대형 모델에서 선형 어텐션 하이브리드 구조가 실전 가치를 증명했다는 점도 눈여겨볼 만합니다. 막대한 컴퓨팅 파워에만 의존하지 않고도 초장문 문맥을 확보할 수 있는 기술적 통로를 열어주었습니다.