구글, TurboQuant 공개: KV 캐시 3비트로 압축해 메모리 6배 절감

미드 '실리콘 밸리'를 본 분들이라면 혁신적인 무손실 압축 알고리즘 하나로 테크 판을 뒤흔들었던 가상 스타트업 '파이드 파이퍼(Pied Piper)'를 기억하실 겁니다.

구글 리서치가 인공지능 분야에서 이 영화 같은 장면을 현실로 만들었습니다.

구글은 3월 24일, 대규모 언어 모델과 벡터 검색 엔진을 파격적으로 압축하는 알고리즘 '터보퀀트(TurboQuant)'를 공개했습니다. 아미르 잔디에(Amir Zandieh) 연구원과 구글 펠로우 바하브 미로크니(Vahab Mirrokni) 주도로 개발된 이 기술은 ICLR 2026과 AISTATS 2026에서 발표될 예정입니다.

좌표계를 비틀어 추가 메모리 오버헤드를 없애다

대규모 언어 모델이 긴 문맥을 처리할 때 가장 심각한 병목을 일으키는 곳은 키-값(KV) 캐시입니다. 모델이 방대한 텍스트를 읽으며 수시로 꺼내보는 일종의 메모장인데, 문맥이 길어질수록 막대한 메모리를 집어삼킵니다.

기존 벡터 양자화 기술도 압축을 시도해왔지만 치명적인 약점이 있었습니다. 데이터 블록마다 복원을 위한 양자화 상수를 따로 보관해야 해서, 숫자당 1~2비트의 불필요한 메모리 오버헤드가 발생했습니다.

터보퀀트는 QJL과 폴라퀀트(PolarQuant)라는 두 가지 수학적 기법으로 이 낭비를 완전히 지웠습니다.

QJL은 존슨-린덴스트라우스 변환을 응용해 기하학적 거리를 보존하면서 데이터를 단일 부호 비트(+1 또는 -1)로 줄여 오버헤드를 제로로 만듭니다. 고정밀 쿼리와 저정밀 데이터를 전략적으로 결합해 어텐션 스코어도 정확하게 계산해냅니다.

폴라퀀트의 아이디어는 한발 더 나아갑니다. 직교좌표계(X, Y, Z)를 버리고 반지름과 각도로 이루어진 극좌표계로 데이터를 변환합니다.

'동쪽으로 3미터, 북쪽으로 4미터' 대신 '37도 방향으로 5미터'로 기록하는 방식입니다. 각도의 분포 패턴이 이미 알려져 있고 일정하기 때문에, 고정된 원형 그리드에 바로 데이터를 매핑할 수 있어 값비싼 정규화나 부가 상수를 저장할 필요가 없어졌습니다.

메모리는 6분의 1로, H100 속도는 8배로

성능 결과는 압도적입니다. 구글은 오픈소스 모델인 젬마(Gemma)와 미스트랄(Mistral)을 이용해 롱벤치(LongBench), 바늘 찾기(Needle In A Haystack) 등 주요 롱컨텍스트 벤치마크를 테스트했습니다.

추가 학습이나 미세조정(Fine-tuning)을 전혀 거치지 않고도 KV 캐시를 3비트 수준으로 압축했으며, 정확도 손실은 사실상 제로에 가까웠습니다. 문서 속 세부 정보를 찾는 바늘 찾기 테스트에서도 완벽한 성능을 유지했습니다.

속도 향상도 두드러집니다. 엔비디아 H100 GPU 환경에서 4비트 터보퀀트는 기존 32비트 비압축 키 대비 어텐션 계산 속도가 최대 8배 빨라졌고, KV 캐시 메모리 사용량은 최소 6분의 1 이하로 줄었습니다.

벡터 검색 분야에서도 기존의 PQ나 RabbiQ 대비 대규모 코드북이나 데이터셋 맞춤 튜닝 없이 더 높은 1@k 재현율(Recall)을 기록했습니다.

발표 직후 외신과 인터넷 커뮤니티에서는 현실판 파이드 파이퍼라는 반응이 쏟아졌고, 매튜 프린스 클라우드플레어 CEO는 소셜미디어를 통해 구글의 '딥시크 모먼트'라고 평가했습니다.

왜 중요한가

우리는 터보퀀트가 생성형 AI 서비스의 가장 큰 골칫거리인 긴 문맥 추론 비용을 획기적으로 낮출 열쇠라고 봅니다.

개발자와 기업 입장에서 긴 문맥을 지원할 때 가장 큰 장벽은 GPU VRAM 용량입니다. KV 캐시가 6분의 1 수준으로 줄어들면 동일한 하드웨어에서 감당할 수 있는 동시 접속자 수가 비약적으로 늘어나며, 온디바이스나 소규모 서버에서도 대용량 문맥 처리가 현실화됩니다.

업계 전반으로 봐도 하드웨어 물량 공세 대신 극좌표 변환 같은 수학적 원리를 파고들어 메모리 병목을 뚫어냈다는 점에서 영리한 접근입니다. 추론 효율을 극대화하려는 경쟁사들에게도 큰 자극이 될 것입니다.

다만 명확한 한계도 존재합니다. 터보퀀트는 아직 연구실 수준의 성과이며, 실제 대규모 상용 서비스 파이프라인에 전면 적용된 것은 아닙니다. 아울러 모델 학습에 드는 천문학적인 메모리 문제가 아니라 추론 및 검색 캐시를 타깃으로 한다는 점도 감안해야 합니다.

그럼에도 재학습 없이 곧바로 3비트 압축과 8배 가속을 증명해냈다는 사실은 충분히 매력적입니다. 실제 오픈소스로 풀리거나 서비스에 통합된다면 엔터프라이즈 추론 아키텍처의 필수 기술로 자리잡을 가능성이 높습니다.