ISTA-DASLab, 12GB 그래픽카드로 구동하는 763B DeepSeek-V4.1 양자화 모델 공개

ISTA-DASLab이 공개한 DeepSeek-V4.1-Flash-1017 GSQ-RCO 양자화 버전은 763B 파라미터의 초대형 MoE 모델을 단 12GB VRAM의 단일 소비자용 GPU에서 로컬로 구동할 수 있게 해주는 패키지입니다.

이 프로젝트는 IQ1_M(1.75 bpw), IQ2_XXS(2.00 bpw), IQ2_XS(2.25 bpw) 등 세 가지 규격의 표준 GGUF 파일을 제공합니다. 최적화된 Strata 추론 엔진과 함께 사용하면 고가의 데이터센터용 장비 없이도 일반 데스크톱이나 게이밍 노트북에서 최상위급 모델을 실행할 수 있습니다.

763B 모델을 12GB 그래픽카드에 담는 기술

모든 가중치 텐서에 동일한 정밀도를 적용하는 기존 균일 양자화는 2비트 부근에서 성능이 급격히 무너지는 문제가 있었습니다.

연구팀은 이를 극복하기 위해 GSQ와 RCO를 결합했습니다. GSQ는 Gumbel-Softmax 완화를 통해 스칼라 양자화의 좌표 배치를 최적화해 GGUF 호환성을 유지하면서 벡터 양자화 수준의 효율을 냅니다. RCO는 전체 용량 한도를 리만 다양체 제약으로 모델링한 뒤, 태스크 손실에 미치는 민감도에 따라 텐서별로 각기 다른 양자화 타입을 기울기 탐색으로 배분합니다.

DeepSeek-V4.1-Flash는 대부분의 파라미터가 384개의 라우팅 전문가에 몰려 있습니다. 알고리즘은 이 전문가 가중치를 1~2비트 수준으로 집중 압축하고, 어텐션 등 민감한 조밀 레이어는 높은 비트 폭으로 유지해 손실을 최소화했습니다.

메모리 구조도 영리합니다. 약 111GB에 달하는 Engram 룩업 테이블을 별도의 공용 파일로 분리했습니다. 토큰당 한 줄씩만 희소하게 읽어오기 때문에 SSD에서 메모리 맵(mmap) 방식으로 직접 읽어 들여 VRAM과 시스템 메모리를 전혀 소모하지 않습니다. 12GB GPU와 46~64GB 시스템 RAM, 빠른 SSD만 있으면 실행할 수 있으며, RTX 3060 환경에서 IQ2_XXS 기준 초당 8~10 토큰 속도가 보고되었습니다.

2비트에서 원본 성능 100% 재현

극단적인 압축에도 불구하고 벤치마크 결과는 사실상 무손실 수준입니다. 추론 강도 50 설정으로 원본 FP8/FP4 체크포인트와 비교한 결과, AIME25, GPQA-Diamond, LiveCodeBench v6 전반에서 뛰어난 성적을 기록했습니다.

가장 권장되는 IQ2_XXS 빌드는 세 벤치마크에서 각각 100.00, 90.91, 89.71점을 기록하며 원본 모델과 완벽히 동일한 100.0%의 종합 복원율을 달성했습니다. 가장 가벼운 1.75 bpw IQ1_M 빌드 역시 AIME25에서 만점을 유지하며 평균 98.7%의 성능을 유지했습니다.

텍스트 추론 외에도 비전 프로젝터(mmproj) 파일을 지원해 멀티모달 입력이 가능하며, 추론 강도 조절과 검증된 Jinja 챗 템플릿도 기본 내장되어 있습니다.

로컬에서 실행하는 법

모델 가중치와 변환 코드는 Hugging Face 저장소에 모두 공개되어 있습니다.

가장 간편한 방법은 Strata 엔진을 사용하는 것입니다. 공식 셸 스크립트로 Strata를 설치한 후 ist-das-2.00bpw 옵션으로 실행하면 약 249GB 용량의 파일을 자동으로 내려받아 로컬에 OpenAI 호환 API 서버를 띄워줍니다.

llama.cpp를 선호한다면 b11870 이상의 최신 빌드가 필요합니다. 원하는 빌드 분할 파일과 공용 Engram 파일을 다운로드한 뒤 6번 샤드로 심볼릭 링크를 연결해주면 llama-server나 llama-cli에서 바로 구동할 수 있습니다. 10월 27일 이전 버전을 받아둔 사용자라면 동봉된 변환 스크립트로 재다운로드 없이 로컬에서 포맷을 갱신할 수 있습니다.

왜 중요한가

700B 파라미터급 플래그십 AI를 로컬에서 구동하려면 수천만 원대 다중 GPU 서버가 필수적이었습니다. 비균일 양자화와 디스크 페이징 기술의 결합은 이 진입 장벽을 대중적인 12GB 그래픽카드 수준으로 끌어내렸습니다.

외부 API 의존 없이 보안과 비용을 통제하며 최고 성능 모델을 연구하려는 개발자에게 IQ2_XXS는 매우 실용적인 선택지입니다. 수백 기가바이트의 저장 공간과 시스템 메모리 대역폭에 따른 속도 한계는 감안해야 하지만, 거대 모델의 로컬 민주화에 중요한 이정표를 세운 결과물입니다.