딥시크, 추론 프레임워크 'DeepInfer' 오픈소스 공개…화웨이 칩 지원

DeepInfer는 딥시크가 자사 최신 모델인 DeepSeek-V4.1-Flash를 구동하기 위해 내부에서 사용해 온 고성능 오프라인 추론 프레임워크입니다. 딥시크는 이 핵심 엔진 코드를 아파치 2.0 라이선스로 GitHub에 전격 공개했습니다.

가장 눈에 띄는 부분은 엔비디아 SM100 GPU뿐만 아니라 화웨이 어센드 950 NPU를 공식 지원 하드웨어로 명시했다는 점입니다. 엔비디아 칩 없이도 순수 국산 반도체 환경에서 최신 거대 모델을 구동할 수 있는 상용 수준의 경로가 열린 셈입니다.

무엇을 할 수 있나

DeepInfer의 핵심 목표는 대규모 동시 요청과 긴 문맥이 몰리는 환경에서 추론 처리량을 극대화하고 지연 시간을 줄이는 것입니다.

프레임워크 내부에는 FlashMLA, DeepGEMM, DeepEP, TileKernels 등 딥시크가 자체 개발해 온 고속 연산 커널이 대거 탑재되었습니다. 병렬 처리 측면에서도 Attention DP와 균형 CP, 그리고 MoE 부하 분산(EPLB) 기술을 조합해 연산 자원을 효율적으로 쪼개 씁니다.

추론 가속을 위해 DSpark 투기적 샘플링과 신뢰도 기반 검증 기술을 도입해 기본 5개 토큰 단위로 초안을 생성해 검증합니다. 또한 SWA 유계 리플레이 기술을 적용해 긴 입력에 대한 Prefill 연산 낭비를 줄였고, CPU 배치 스케줄링과 하드웨어 실행을 겹쳐서 처리하는 비동기 스케줄러를 기본 활성화했습니다.

정규표현식, JSON 스키마, EBNF 문법을 강제하는 구조화된 출력도 지원합니다. 엔비디아 하드웨어에서는 배치 구성이 달라져도 시드 값이 같으면 항상 동일한 결과를 내는 배치 불변 추론과 결정론적 샘플링 기능도 제공합니다.

어떻게 실행하나

DeepInfer는 개인 PC가 아닌 데이터센터 수준의 초대형 인프라를 요구합니다.

하드웨어는 엔비디아 SM100 GPU 또는 화웨이 어센드 950 NPU가 필요합니다. 딥시크가 공개한 벤치마크 환경 역시 Prefill에 SM100 4장, Decode에 64장을 투입하는 대규모 구성입니다.

소프트웨어 환경은 리눅스, GCC 13.0 이상, 파이썬 3.12를 요구합니다. 엔비디아는 CUDA 13, 화웨이는 CANN 9.2가 갖춰져야 합니다. 환경변수로 DEEPINFER_ACCELERATOR를 지정한 뒤 build.sh 스크립트를 돌려 빌드하며, 기본 예제를 실행하면 허깅페이스에서 DeepSeek-V4.1-Flash-1017 가중치를 내려받습니다.

다만 이번 릴리스는 오프라인 추론에 집중되어 있습니다. 상용 수준의 온라인 API 서비스를 구축하려면 외부 KV 캐시 시스템, Prefill과 Decode 분리 아키텍처, 로드 밸런싱 모듈을 직접 개발해 붙여야 합니다.

왜 중요한가

딥시크는 DeepInfer가 vLLM을 기반으로 SGLang과 TensorRT-LLM의 장점을 흡수해 만들어졌다고 밝혔습니다. 여기에 자사 특화 커널과 화웨이 칩 최적화를 결합해 실제로 작동하는 프로덕션 코드를 완성한 것입니다.

어센드 950이나 차세대 엔비디아 랙을 보유하고 DeepSeek-V4.1-Flash 모델을 자체 호스팅하려는 기업이라면 반드시 살펴봐야 할 프레임워크입니다. 하지만 온라인 서빙에 필요한 인프라가 빠져 있어 엔지니어링 리소스가 부족한 팀이 기존 범용 추론 프레임워크를 대체하기에는 아직 진입 장벽이 높습니다.