온도 0인데 왜 LLM 출력이 바뀔까? 씽킹머신스의 분석

온도 값을 0으로 맞추고 똑같은 프롬프트를 넣어도 챗GPT의 답변이 매번 미세하게 달라지는 현상은 오랫동안 AI 업계의 골칫거리였습니다.

지금까지 업계에서는 수천 개의 GPU 코어가 동시에 연산하는 병렬 처리 환경과 결합법칙이 성립하지 않는 부동소수점 오차가 맞물려 결과가 달라진다는 가설을 정설처럼 받아들였습니다. 먼저 끝나는 스레드에 따라 계산 순서가 바뀌어 오차가 누적된다는 논리였습니다.

미라 무라티 전 오픈AI CTO가 설립한 씽킹 머신스 랩은 9월 10일 첫 연구 블로그를 공개하며 이 통념을 정면으로 반박했습니다. 연구원 호레이스 허는 AI 추론이 비결정적인 진짜 원인은 하드웨어 병렬성이나 원자적 연산 때문이 아니라, GPU 커널을 조합하고 조율하는 방식에 있다고 지적했습니다.

GPU 병렬 연산 탓이 아니었다

호레이스 허는 GPU에서 동일한 bfloat16 행렬 곱셈을 1000번 반복 실행해도 비트 단위까지 완벽하게 일치하는 실험 결과를 제시했습니다. GPU 병렬성과 부동소수점 연산 자체가 본질적인 무작위성을 만든다면 이 연산에서도 결과가 달라졌어야 합니다.

부동소수점 덧셈에서 계산 순서에 따라 값이 달라지는 것은 사실이지만, 현대 LLM의 순전파 과정에서는 실행 순서가 뒤엉키는 원자적 덧셈 연산이 거의 쓰이지 않습니다. 배치 차원의 병렬 처리가 충분히 가능해 코어끼리 결과를 먼저 쓰겠다고 경쟁할 필요가 없기 때문입니다.

그런데도 vLLM 같은 오픈소스 라이브러리나 상용 API에서 결과가 바뀌는 이유는, 개별 커널의 문제가 아니라 전체 추론 파이프라인에서 커널들을 이어 붙이고 조율하는 계층에서 순서 불일치가 발생하기 때문이라고 허는 분석했습니다. 이 오케스트레이션 계층을 정밀하게 제어하면 100% 재현 가능한 추론이 가능하다는 설명입니다.

강화학습의 노이즈를 걷어내려는 포석

추론 결과를 완전히 재현할 수 있게 되면 과학 연구나 금융 규제 준수뿐만 아니라 강화학습 효율도 크게 높아집니다.

정답에 보상을 주는 강화학습 과정에서 모델의 출력이 매번 미세하게 흔들리면 훈련 신호에 노이즈가 낍니다. 일관된 응답을 보장하면 노이즈가 줄어들어 강화학습 훈련 과정이 훨씬 매끄러워진다는 것이 연구팀의 설명입니다.

20억 달러의 시드 투자를 유치하며 120억 달러의 기업가치를 인정받은 씽킹 머신스 랩은 이 기술을 바탕으로 맞춤형 기업 모델 시장을 공략할 계획입니다. 이번 연구는 연구 문화를 투명하게 공개하겠다는 커넥셔니즘 시리즈의 첫 번째 결과물입니다.

왜 중요한가

우리는 씽킹 머신스 랩이 대규모 파운데이션 모델 경쟁에 바로 뛰어드는 대신 추론의 비결정성이라는 기초 시스템 문제를 먼저 파고든 점이 매우 영리한 접근이라고 봅니다. 일상적인 챗봇 대화에서는 답변이 몇 단어 바뀌어도 상관없지만, 코드 검증이나 법률 문서 분석, 수학적 추론처럼 단 하나의 오차도 허용되지 않는 산업 현장에서는 재현성이 필수입니다.

더 중요한 것은 강화학습 단계의 비용 절감입니다. AI 모델의 능력을 끌어올리기 위해 추론 시간 연장과 강화학습이 핵심 기술로 떠오른 상황에서, 추론 단계의 노이즈를 없애면 막대한 연산 자원 낭비를 줄이고 학습 수렴 속도를 높일 수 있습니다.

관건은 추론 속도와의 타협입니다. 현재 상용 추론 엔진들은 속도와 처리량을 극대화하기 위해 동적 배칭 같은 공격적인 최적화를 적용하고 있으며, 이는 필연적으로 실행 순서의 변동을 만듭니다. 서빙 처리량을 깎아먹지 않으면서 완벽한 결정성을 구현할 수 있을지가 무라티 연구팀이 증명해야 할 진짜 과제입니다.