매직, 1억 토큰 처리하는 LTM-2-mini 공개 및 3억 2000만 달러 투자 유치

AI에게 코딩을 맡길 때 가장 답답한 순간은 프로젝트가 조금만 커져도 앞선 설정과 의존성을 잊어버린다는 점입니다. 컨텍스트를 억지로 늘리면 클라우드 연산 비용이 천문학적으로 치솟기 일쑤였습니다.

소프트웨어 개발 전문 AI 스타트업 매직(Magic)이 무려 1억(100M) 토큰의 컨텍스트 윈도우를 지원하는 초장문 모델 LTM-2-mini를 공개했습니다. 이와 함께 3억 2,000만 달러 규모의 신규 투자 유치와 구글 클라우드, 엔비디아와의 슈퍼컴퓨터 구축 파트너십도 발표했습니다.

750권의 소설을 삼키는 컨텍스트와 꼼수 잡는 HashHop

1억 토큰은 코드 약 1,000만 줄, 책으로 치면 약 750권 분량에 달하는 방대한 크기입니다. 외부에 공개되지 않은 사내 프라이빗 라이브러리와 내부 문서까지 모조리 모델의 추론 창 안에 통째로 집어넣을 수 있다는 뜻입니다.

매직은 기존의 장문 평가 지표인 바늘 찾기(Needle In A Haystack) 테스트가 허점투성이라고 지적했습니다. 고래에 관한 소설 속에 뜬금없이 커피 마시는 문장을 숨겨두면, 모델이 의미적 이질감만 감지해 쉽게 찾아내므로 실제 저장 능력을 제대로 검증하지 못한다는 것입니다.

이를 해결하기 위해 매직은 HashHop이라는 새로운 벤치마크를 직접 설계해 오픈소스로 공개했습니다. 완전히 무작위이고 압축할 수 없는 해시 쌍을 뒤섞어 제시한 뒤 다단계 참조 사슬을 따라가게 만들어, 코드 내 복잡한 변수 할당과 모듈 임포트를 추적하는 실제 개발 환경을 모사했습니다. 매직의 LTM 구조는 이 가혹한 평가에서도 뛰어난 추론 안정성을 입증했습니다.

H100 638장을 단 한 장의 일부로 줄인 23명의 팀

초장문 컨텍스트의 가장 큰 적은 메모리 폭발입니다. 메타의 Llama 3.1 405B로 1억 토큰을 구동하려면 사용자 한 명의 KV 캐시를 저장하는 데만 엔비디아 H100 GPU 638장, 즉 51TB의 메모리가 필요합니다.

반면 매직의 LTM-2-mini는 동일한 1억 토큰 환경에서 사용자당 단 한 장의 H100 메모리 중 아주 작은 일부만 차지합니다. 토큰당 계산 비용 역시 Llama 3.1의 어텐션 메커니즘 대비 약 1,000배 저렴합니다.

이 프로토타입 모델은 주류 프론티어 모델보다 매개변수가 훨씬 작음에도 불구하고, 사전 정보 없이 코드베이스만 읽고 맞춤형 프레임워크 기반의 계산기를 작성해냈습니다. 또한 오픈소스 리포지토리인 Documenso에서 사람의 개입 없이 비밀번호 강도 측정 기능을 완벽히 구현했습니다.

놀랍게도 매직의 팀 규모는 당시 단 23명에 불과했습니다. 전 오픈AI 슈퍼컴퓨팅 책임자인 벤 체스(Ben Chess) 등이 합류한 이 팀은 파이토치의 자동 미분을 쓰지 않고 자체 CUDA 코드를 밑바닥부터 직접 작성했습니다. 에릭 슈미트, 세쿼이아, 제인 스트리트 등으로부터 3억 2,000만 달러를 추가 유치해 누적 투자금은 5억 1,500만 달러에 이르렀습니다.

현재 이들은 구글 클라우드 기반으로 엔비디아 GB200 NVL72를 탑재한 Magic-G5 슈퍼컴퓨터를 구축 중이며, 향후 수만 장의 블랙웰 GPU 규모로 확장할 계획입니다.

왜 중요한가

우리는 매직의 이번 행보가 사전 학습 중심의 체급 경쟁에서 벗어나 추론 시점 연산과 극한의 컨텍스트 효율화라는 차세대 전장으로 향하고 있음을 보여준다고 봅니다.

개발자에게 전달되는 실질적 가치는 매우 명확합니다. 이슈 티켓 하나에 100달러와 10분을 투입해 완벽한 풀 리퀘스트(PR)를 뽑아내겠다는 이들의 목표는 현실적인 개발 생산성 혁신을 겨냥합니다. 지금 당장은 깃허브에 공개된 HashHop 벤치마크 정도만 확인해볼 수 있지만, 거대 LTM-2 모델이 정식 배포되면 대형 코드베이스 작업의 판도가 바뀔 수 있습니다.

매개변수 크기 대신 시퀀스 처리 효율을 파고들어 메모리 병목을 극적으로 해결한 점은 매우 영리한 전략입니다. 1억 토큰을 저렴하게 처리할 수 있다면, 파편화된 정보를 검색해 붙여넣던 기존 RAG 기반 코딩 보조 도구들은 경쟁력을 잃기 쉽습니다.

하지만 잠재적 위험도 존재합니다. 문맥을 기억하는 용량이 크다고 해서 복잡한 아키텍처를 결함 없이 설계하는 고차원적 논리 추론까지 자동으로 보장되는 것은 아닙니다. 작은 프로토타입에서 대규모 모델로 확장하는 과정에서 환각을 얼마나 통제할 수 있을지가 진정한 시험대가 될 것입니다.