오픈소스 추론 엔진 Strata 공개: 12GB VRAM으로 1,000억 매개변수 모델 구동

Strata는 12GB VRAM을 갖춘 일반 소비자용 PC에서 1,000억 개 이상의 매개변수를 지닌 대형 모델을 로컬로 구동할 수 있도록 개발된 오픈소스 추론 엔진입니다.

MIT 라이선스로 배포되는 무료 오픈소스 프로젝트이며, 별도의 계정 가입 없이 Windows, Linux, macOS 환경에서 즉시 사용할 수 있습니다.

어떤 방식으로 구동하나

통상 1,000억 단위의 대형 모델을 로컬에서 실행하려면 고가의 기업용 GPU나 멀티 GPU 구성이 필수적이었습니다.

Strata는 GPU VRAM과 시스템 메모리, 고속 NVMe SSD를 유기적으로 연계하는 계층형 스케줄링 방식을 도입했습니다.

혼합 전문가 구조 모델을 구동할 때 가장 자주 호출되는 전문가 가중치는 그래픽카드 VRAM에 상주시키고, 전체 모델은 시스템 메모리에 배치하며, 메모리를 초과하는 부분은 SSD에서 실시간으로 읽어옵니다.

GPU와 시스템 RAM, SSD가 협력하여 추론과 추측 디코딩을 수행함으로써 VRAM 용량 한계를 극복했습니다.

지원 모델 및 하드웨어 사양

현재 Strata는 125B 매개변수의 Qwen3.8-Flash-Next를 비롯해 Qwen3.6-35B-A3B, DeepSeekV4.1-Flash-1017 모델을 지원합니다.

Qwen3.8-Flash-Next 풀버전은 12GB VRAM과 64GB RAM 환경에서 구동되며, 32GB RAM 환경에서는 코딩 특화 버전인 Coder를 실행할 수 있습니다.

DeepSeekV4.1-Flash-1017의 경우 RAM에 들어가지 않는 용량을 SSD에서 직접 읽어오므로 양자화 설정에 따라 약 245GB에서 280GB 수준의 여유 디스크 공간이 필요합니다.

하드웨어 지원 범위도 넓습니다. 엔비디아 RTX 20, 30, 40, 50 시리즈 전체 제품군과 AMD 라데온 RX 7000, 9000, AI PRO R9700, 리눅스 기반 인텔 아크, 64GB 이상의 램을 갖춘 애플 실리콘 Mac을 지원합니다.

DeepSeek 2.00 bpw 기준 공식 벤치마크에 따르면 RTX 3060 및 46GB RAM 구성에서 초당 9~11 토큰, RTX 5070 및 64GB RAM 환경에서 초당 4~6 토큰의 생성 속도를 보입니다. AMD Ryzen AI Max 노트북 환경에서는 코드 작성 시 초당 19~21 토큰까지 출력됩니다.

설치 및 외부 도구 연동

사용법은 간단합니다. 각 운영체제별 단일 설치 파일이 제공되며, 터미널에서 명령어 한 줄로 설치한 뒤 strata launch 명령을 실행하면 모델 선택과 구동이 이어집니다.

또한 로컬 환경에서 OpenAI 및 Anthropic 호환 API 엔드포인트를 제공합니다.

strata connect 명령을 통해 Claude Code, Codex CLI, OpenCode, Hermes Agent 등 다양한 기존 코딩 도구 및 자율 에이전트에 로컬 모델을 손쉽게 연결할 수 있습니다.

왜 중요한가

데이터 보안이 중요한 개발자나 클라우드 API 비용 부담 없이 백그라운드 코딩과 자동화 작업을 수행하려는 사용자라면 바로 설치해 볼 만한 프로젝트입니다.

모델을 단순히 극단적으로 압축해 VRAM에 욱여넣는 대신 하드웨어 계층을 똑똑하게 활용해 거대 모델의 구동 문턱을 대폭 낮췄습니다. 스토리지 대역폭 한계로 인해 데이터센터 수준의 초고속 속도는 나오지 않지만, 일반 데스크톱 환경에서 거대 모델을 실사용 속도로 굴릴 수 있다는 점에서 실질적인 가치가 충분합니다.