레드햇, AI 추론 최적화 기업 뉴럴매직 인수 발표

기업이 대규모 언어모델(LLM)을 사내 인프라에 직접 배포할 때 가장 큰 걸림돌은 막대한 하드웨어 비용과 복잡한 서빙 최적화입니다.

오픈소스 대표 기업 레드햇(Red Hat)이 이 문제를 해결하기 위해 팔을 걷어붙였습니다. 레드햇은 11월 12일, 생성형 AI 추론 소프트웨어 및 최적화 기술 전문 스타트업인 뉴럴 매직(Neural Magic)을 인수하는 최종 계약을 체결했다고 발표했습니다.

MIT 스핀오프에서 vLLM 핵심 기여자로

2018년 MIT에서 스핀오프한 뉴럴 매직은 딥러닝 추론 성능 엔지니어링 분야의 선두 주자입니다.

특히 오픈소스 진영에서 LLM 고속 서빙 표준으로 자리 잡은 'vLLM' 프로젝트에서 핵심적인 기술 리더십을 발휘해 왔습니다. vLLM은 UC 버클리에서 시작된 프로젝트로 엔비디아 GPU는 물론 AMD GPU, AWS 뉴런, 구글 TPU, 인텔 가우디, 일반 x86 CPU 등 다양한 칩셋을 폭넓게 지원합니다.

여기에 더해 뉴럴 매직은 모델 희소화 및 양자화 알고리즘을 제공하는 통합 라이브러리 'LLM 컴프레서(LLM Compressor)'와 즉시 배포 가능한 사전 최적화 모델 저장소를 운영해 왔습니다.

레드햇 AI 스택의 마지막 퍼즐 완성

레드햇은 그동안 오픈소스 모델 Granite를 구동하는 RHEL AI, 하이브리드 클라우드 환경을 위한 레드햇 오픈시프트 AI(OpenShift AI), 협업 미세조정 커뮤니티 프로젝트 인스트럭트랩(InstructLab) 등을 연이어 선보였습니다.

이번 인수는 10억(1B) 파라미터 소형 모델부터 4050억(405B) 파라미터 초대형 오픈 모델까지 온프레미스, 퍼블릭 클라우드, 엣지 환경에서 효율적으로 구동할 수 있는 추론 레이어를 완성했다는 의미가 있습니다.

맷 힉스(Matt Hicks) 레드햇 CEO는 오픈소스 분야의 레드햇을 넘어 AI 분야의 레드햇이 되겠다는 포부를 밝혔습니다.

왜 중요한가

자체 데이터 유출을 꺼리는 엔터프라이즈 환경에서 이번 인수는 실질적인 비용 절감으로 이어질 수 있습니다. vLLM 서빙 엔진을 RHEL AI와 오픈시프트 AI에 엔터프라이즈급으로 통합하면, 기업은 까다로운 커스텀 최적화 엔지니어링 없이도 기존 하드웨어 자원을 활용해 오픈 모델을 안정적으로 서비스할 수 있게 됩니다.

시장 관점에서는 오픈AI나 앤트로픽 같은 폐쇄형 클라우드 API 독주에 맞서는 오픈소스 진영의 확실한 방어벽이 마련된 셈입니다. 특히 규제 장벽이 높은 금융이나 공공 기관은 민감한 데이터를 퍼블릭 클라우드로 보내기 어려운 만큼 온프레미스 하이브리드 배포 수요가 꾸준합니다.

레드햇의 이번 행보는 직접 거대 모델 학습 비용을 태우는 대신, 기업에 필수적인 배포 파이프라인을 쥐겠다는 영리한 실용주의로 보입니다.

다만 vLLM이 급성장한 핵심 배경이 벤더 중립적인 커뮤니티였던 만큼, 인수 후에도 다양한 칩셋 제조사 지원과 오픈 거버넌스를 얼마나 투명하게 유지하느냐가 신뢰의 척도가 될 것으로 보입니다.