엔비디아, DMS 발표: LLM KV 캐시 최대 8배 압축해 추론 비용 절감

추론형 거대언어모델의 가장 큰 골칫거리는 생각을 깊게 할수록 그래픽 메모리가 감당하기 힘들 정도로 늘어난다는 점입니다.

모델이 답을 내기 전 생각 과정을 길게 늘어놓을수록 임시 저장 공간인 KV 캐시가 선형적으로 증가합니다. 엔비디아 연구진은 모델의 추론 정확도를 떨어뜨리지 않으면서 이 KV 캐시 크기를 최대 8배까지 줄여주는 동적 메모리 희소화(DMS) 기술을 공개했습니다.

모델이 직접 무엇을 지울지 결정하는 방식

기존에는 최근 단어만 남기고 과거 기록을 무조건 삭제하는 슬라이딩 윈도 방식이나, 느린 메모리로 데이터를 옮기는 페이징 기법을 주로 썼습니다. 하지만 필수 문맥까지 날아가 답변 품질이 떨어지거나, 잦은 메모리 교환 탓에 응답 속도가 크게 느려지는 문제가 있었습니다.

DMS는 고정된 규칙 대신 기존 모델이 스스로 중요도를 판단하도록 개조합니다. 모델 전체를 처음부터 다시 학습할 필요 없이, 어텐션 계층의 기존 뉴런을 활용해 토큰별로 유지할지 버릴지를 판단하는 신호를 출력하게 만듭니다. 엔비디아의 피오트르 나브로트 시니어 딥러닝 엔지니어는 기본 모델 가중치를 고정한 채 LoRA와 유사한 방식으로 진행되므로 단일 DGX H100에서 몇 시간 만에 Qwen3-8B 수준의 모델을 개조할 수 있다고 밝혔습니다.

핵심 메커니즘은 지연 방출입니다. 버릴 토큰으로 분류되더라도 즉시 지우지 않고 수백 스텝 동안 임시 보관합니다. 모델이 해당 토큰의 문맥을 현재 상태로 충분히 흡수한 뒤에 캐시에서 완전히 제거하는 방식입니다.

AIME 24 수학 벤치마크 테스트 결과, 동일한 메모리 예산 조건에서 DMS를 적용한 Qwen-R1 32B 모델은 기본 모델보다 12점 더 높은 점수를 기록했습니다. 이 기술은 엔비디아의 Model Optimizer 프레임워크에 포함되어 제공됩니다.

왜 중요한가

우리는 이 기술이 현재 추론 모델 배포의 최대 장벽인 인프라 비용 문제를 정면으로 해결한다고 봅니다.

엔비디아 측 설명대로 동일한 비용으로 100개의 추론 스레드를 처리하던 인프라가 800개를 처리할 수 있게 된다면 기업 입장에서는 서비스 운영 단가가 획기적으로 낮아집니다. 비싼 VRAM 증설 없이도 더 깊은 사고 단계와 복수 추론 경로 탐색을 실전에 적용할 수 있게 됩니다.

무엇보다 완전히 새로운 모델을 사전 학습할 필요 없이, 기존 Llama 3나 Qwen 3 같은 오픈 모델을 단일 서버에서 단 몇 시간 만에 미세조정해 쓸 수 있다는 점이 영리합니다. 복잡한 코딩이나 수학적 추론을 요구하는 장기 작업 환경에서 메모리 병목으로 고민하던 개발팀이라면 지금 당장 테스트해 볼 가치가 충분합니다.