온도 0인데 왜 LLM 출력이 바뀔까? 씽킹머신스의 분석
씽킹머신스 AI는 LLM 추론 재현성 저하의 원인을 분석한 기술 블로그를 공개했다. 온도를 0으로 설정해도 응답이 바뀌는 현상은 흔히 GPU 부동소수점 병렬 연산 탓으로 여겨졌으나, 실제 순전파 연산 자체는 결정적인 것으로 나타났다. 팀은 진짜 원인이 동적 배치 처리에서 발생하는 '배치 불변성 부재'로 인해 병렬 요청 구성에 따라 출력이 달라지기 때문이라고 짚었다.
SGLang
Z.ai, 차세대 플래그십 'GLM-4.5' 출시…추론과 에이전트 역량 대폭 강화
Z.ai가 추론, 코딩, 자율 에이전트 역량을 강화한 플래그십 모델 GLM-4.5와 경량화 버전 GLM-4.5-Air를 공개했다. 355B 총 파라미터 중 32B만 활성화하는 MoE 구조를 택했으며, SGLang 프레임워크와 FP8 양자화를 즉시 지원한다. 128k 컨텍스트와 90.6%의 높은 도구 호출 성공률을 앞세워 복잡한 에이전트 워크플로에 최적화됐다.
스탠퍼드, 고처리량 추론 엔진 Tokasaurus 공개…vLLM 대비 최대 3배 빨라
스탠퍼드 연구진이 대규모 배치와 합성 데이터 생성 등 고처리량 작업에 특화된 오픈소스 추론 엔진 Tokasaurus를 공개했다. CPU 오버헤드 최소화와 공유 프리픽스 동적 탐색, 비 NVLink 환경 파이프라인 병렬 최적화를 통해 vLLM 및 SGLang 대비 최대 3배 이상 높은 처리량을 제공한다.
xAI, 3일 만에 추론 스택 재작성…Grok-2 mini 속도 2배 향상
xAI 개발팀이 오픈소스 프레임워크인 SGLang을 활용해 추론 기술 스택을 3일 만에 완전히 새로 작성했다. 그 결과 Grok-2 mini의 속도가 기존보다 2배 빨라지고 정확도도 소폭 개선됐으며, 대규모 Grok-2 모델의 다중 호스트 서빙 속도도 크게 개선됐다.