온도 0인데 왜 LLM 출력이 바뀔까? 씽킹머신스의 분석
씽킹머신스 AI는 LLM 추론 재현성 저하의 원인을 분석한 기술 블로그를 공개했다. 온도를 0으로 설정해도 응답이 바뀌는 현상은 흔히 GPU 부동소수점 병렬 연산 탓으로 여겨졌으나, 실제 순전파 연산 자체는 결정적인 것으로 나타났다. 팀은 진짜 원인이 동적 배치 처리에서 발생하는 '배치 불변성 부재'로 인해 병렬 요청 구성에 따라 출력이 달라지기 때문이라고 짚었다.
vLLM
스탠퍼드, 고처리량 추론 엔진 Tokasaurus 공개…vLLM 대비 최대 3배 빨라
스탠퍼드 연구진이 대규모 배치와 합성 데이터 생성 등 고처리량 작업에 특화된 오픈소스 추론 엔진 Tokasaurus를 공개했다. CPU 오버헤드 최소화와 공유 프리픽스 동적 탐색, 비 NVLink 환경 파이프라인 병렬 최적화를 통해 vLLM 및 SGLang 대비 최대 3배 이상 높은 처리량을 제공한다.
Gemma 추론 최적화: Dataflow와 vLLM 결합으로 효율 23배 향상
구글은 Dataflow 파이프라인에 vLLM을 결합해 Gemma 2B 모델을 효율적으로 서비스하는 방식을 공개했다. vLLM의 연속 배치와 Dataflow 모델 관리자를 통해 몇 줄의 코드만으로 파이프라인을 구축하며, 테스트 결과 추론 효율이 23배 이상 개선됐다.
레드햇, AI 추론 최적화 기업 뉴럴매직 인수 발표
레드햇이 생성형 AI 추론 가속 소프트웨어 스타트업 뉴럴매직(Neural Magic)을 인수하는 최종 계약을 체결했다고 발표했다. MIT에서 스핀오프한 뉴럴매직은 오픈소스 vLLM 프로젝트를 주도하고 있으며, 레드햇은 이를 통해 하이브리드 클라우드 전반의 AI 서빙 경쟁력을 강화할 계획이다.