Edge0: SSD를 메모리처럼 활용해 35B 모델을 2.5GB RAM에서 구동

Edge0는 스토리지 공간을 메모리처럼 활용하는 오픈소스 스트리밍 MoE(혼합 전문가) 추론 프레임워크입니다. 모델 전체를 RAM에 상주시키는 대신 필요한 전문가 가중치를 SSD에서 실시간으로 스트리밍하여, 35B 규모의 MoE 모델을 약 2.5GB 수준의 활성 메모리만으로 구동할 수 있도록 만듭니다.

이 프로젝트는 Mac, iPhone, Android, Windows를 지원합니다. 프레임워크와 함께 Qwen3.6-35B-A3B 기반의 35B 모델과 Ling 3.0 기반의 8B 모델 등 두 가지 사전 튜닝 체크포인트를 제공합니다.

어떤 방식으로 작동하는가

기존 방식은 추론을 위해 모델 전체를 메모리에 올려야 했습니다. 하지만 희소 MoE 모델은 한 번에 모든 매개변수를 쓰지 않습니다. 35B 모델이라도 실제 추론 시점에는 약 3B 정도의 파라미터만 활성화됩니다.

Edge0는 이 점에 착안해 mmap을 활용하여 전문가 가중치를 SSD에 두고 필요할 때만 가져옵니다. 덕분에 최대 메모리 사용량은 전체 파라미터 크기가 아니라 현재 활성화된 전문가 세트 크기에만 묶이게 됩니다.

저장장치에서 가중치를 읽어오는 과정의 지연 시간을 해결하기 위해, Edge0는 한 스텝 앞서 라우팅 결정을 예측하는 경량 Prerouter 헤드를 탑재했습니다. 연산이 진행되는 동안 다음 스텝에 필요한 가중치를 백그라운드에서 미리 로드함으로써 디코드 처리량을 최대 59%까지 끌어올렸습니다.

체크포인트는 INT4로 양자화되어 35B 모델의 디스크 용량은 약 23GB 수준입니다. 4비트 양자화로 인한 품질 저하는 증류 방식으로 학습된 Recover-LoRA 어댑터로 복원했습니다. OpenCompass 벤치마크 결과, 35B 모델의 평균 점수는 원래 FP16 베이스 모델 대비 3.9점 하락에 그쳤으며 MMLU-Pro에서는 오히려 베이스보다 높은 점수를 기록했습니다.

하드웨어 사양과 속도

24GB 메모리를 탑재한 M4 Pro Mac mini 환경에서 edge0-35b는 초당 14.9~17.7 토큰의 디코드 속도를 보였으며, 이때 MLX 할당 메모리 피크값은 약 2.9GB에 불과했습니다.

더 작은 edge0-8b 모델은 디스크 공간을 약 4.2GB 차지하며, 초당 23.9~25.3 토큰의 속도와 1.0GB 수준의 피크 메모리 점유율을 기록했습니다.

현재 GitHub 저장소에는 macOS용 Rust 구현체, iOS용 Swift 엔진, Android용 Kotlin 네이티브 엔진, Windows용 C++ 및 Vulkan 엔진이 각각 오픈소스로 올라와 있습니다. 모든 플랫폼을 아우르는 통합 인터페이스 프레임워크는 2026년 4분기에 릴리스될 예정입니다.

현재 Python 프레임워크는 Apple Silicon 기반 Mac에서 MLX 백엔드로 구동되며 Python 3.10 이상이 필요합니다. CUDA 백엔드는 로드맵에 반영되어 개발 중입니다.

직접 써보는 방법

소스 코드는 GitHub의 Edge0-AI/Edge0 저장소에 공개되어 있으며, 모델 가중치와 전용 어댑터는 Hugging Face와 ModelScope에 올라와 있습니다.

Mac 사용자라면 저장소를 클론한 뒤 Python 3.12 가상환경을 만들고 의존성을 설치하면 바로 테스트할 수 있습니다. 스크립트를 통해 모델 디렉터리를 내려받으면 베이스 체크포인트와 LoRA, Prerouter 파일이 함께 구성됩니다.

다운로드 후 터미널에서 edge0 demo edge0-35b 명령을 실행하면 즉시 대화형 인터페이스를 체험할 수 있고, edge0 serve 명령으로 OpenAI API 규격과 호환되는 로컬 서버를 띄울 수도 있습니다.

왜 중요한가

로컬 기기에서 고성능 모델을 구동할 때 가장 큰 걸림돌은 값비싼 통합 메모리 용량이었습니다. Edge0는 지능적인 사전 라우팅 알고리즘을 통해 SSD의 대기 시간을 감추고 저렴한 스토리지로 RAM 부족 문제를 우회할 수 있음을 입증했습니다.

저사양 PC나 스마트폰 같은 온디바이스 환경에서 똑똑한 오픈소스 모델을 저비용으로 직접 돌려보고 싶은 개발자라면 당장 설치해 테스트해볼 가치가 충분합니다. 긴 대화 맥락에서 KV 캐시가 늘어나는 점은 고려해야 하지만, 에지 추론의 진입 장벽을 실질적으로 낮춘 매우 영리한 접근 방식입니다.