온도 0인데 왜 LLM 출력이 바뀔까? 씽킹머신스의 분석
씽킹머신스 AI는 LLM 추론 재현성 저하의 원인을 분석한 기술 블로그를 공개했다. 온도를 0으로 설정해도 응답이 바뀌는 현상은 흔히 GPU 부동소수점 병렬 연산 탓으로 여겨졌으나, 실제 순전파 연산 자체는 결정적인 것으로 나타났다. 팀은 진짜 원인이 동적 배치 처리에서 발생하는 '배치 불변성 부재'로 인해 병렬 요청 구성에 따라 출력이 달라지기 때문이라고 짚었다.
씽킹머신스 AI는 LLM 추론 재현성 저하의 원인을 분석한 기술 블로그를 공개했다. 온도를 0으로 설정해도 응답이 바뀌는 현상은 흔히 GPU 부동소수점 병렬 연산 탓으로 여겨졌으나, 실제 순전파 연산 자체는 결정적인 것으로 나타났다. 팀은 진짜 원인이 동적 배치 처리에서 발생하는 '배치 불변성 부재'로 인해 병렬 요청 구성에 따라 출력이 달라지기 때문이라고 짚었다.