엔비디아, DMS 발표: LLM KV 캐시 최대 8배 압축해 추론 비용 절감
엔비디아 연구진이 대규모 언어 모델의 KV 캐시를 최대 8배 압축하면서도 정확도를 유지하는 동적 메모리 희소화(DMS) 기술을 공개했다. 고정 규칙 대신 모델이 토큰 보존 여부를 스스로 판단하며 '지연 축출'로 정보 유실을 막는다. 해당 기술은 엔비디아 모델 옵티마이저 프레임워크에 포함됐다.
엔비디아 연구진이 대규모 언어 모델의 KV 캐시를 최대 8배 압축하면서도 정확도를 유지하는 동적 메모리 희소화(DMS) 기술을 공개했다. 고정 규칙 대신 모델이 토큰 보존 여부를 스스로 판단하며 '지연 축출'로 정보 유실을 막는다. 해당 기술은 엔비디아 모델 옵티마이저 프레임워크에 포함됐다.