포트키 관측 결과, GPT-4 지연 대폭 개선…최악 대기 시간 3개월 만에 절반으로

최근 몇 달 동안 OpenAI의 API를 호출하면서 GPT-4가 예전보다 눈에 띄게 빨라졌다고 느꼈다면, 단순한 기분 탓이 아닙니다.

AI 운영 플랫폼 Portkey가 지난 몇 달간 GPT-3.5와 GPT-4의 지연 시간을 추적 관찰한 데이터를 공개했습니다. 결과는 꽤 인상적입니다. GPT-4의 응답 지연 시간이 꾸준히 줄어들면서 두 모델 사이의 속도 격차가 빠른 속도로 좁혀지고 있습니다.

최악의 지연 시간이 3개월 만에 절반으로 뚝

Portkey는 API 응답 지연을 세 가지 요소로 나누어 분석했습니다. 왕복 네트워크 통신 시간 100~200밀리초, 서버 대기열 시간 100~500밀리초, 그리고 프롬프트의 복잡도와 길이에 따라 크게 달라지는 모델 처리 시간입니다.

주목할 점은 토큰 수가 많다고 해서 무조건 느린 것은 아니라는 사실입니다. Portkey의 테스트에 따르면 단순한 204토큰짜리 프롬프트는 4.5초 만에 응답이 끝났지만, 복잡한 로직이 포함된 33토큰짜리 프롬프트는 무려 32초나 걸렸습니다.

전체 요청의 중간값 기준으로 보면, 두 모델 모두 토큰당 1밀리초 미만의 처리 속도를 꾸준히 유지하고 있었습니다.

진짜 변화는 가장 느린 상위 1% 요청, 즉 99백분위수 구간에서 나타났습니다. 유저를 하염없이 기다리게 만들던 이 극단적인 지연 시간이 최근 3개월 사이에 절반 이하로 줄어들었습니다.

왜 중요한가

이 데이터는 AI 기능을 제품에 연동하는 개발자들에게 꽤 실질적인 의미가 있습니다.

지금까지 많은 팀이 챗봇이나 인터랙티브 서비스를 만들 때 GPT-4의 뛰어난 성능을 알면서도 GPT-3.5를 골랐습니다. 가끔 발생하는 수십 초 단위의 응답 지연이 사용자 경험을 완전히 망가뜨렸기 때문입니다. 하지만 이제 최악의 지연 시간이 대폭 줄어들면서, 비용만 감당할 수 있다면 실시간 대화형 서비스에도 GPT-4를 직접 투입해볼 만해졌습니다.

업계 관점에서도 OpenAI가 단순히 차세대 모델 개발에만 매달리는 것이 아니라, 추론 인프라 최적화와 병목 해소에 상당한 공을 들이고 있음을 보여줍니다.

다만 비용 부담은 여전하며 몇 가지 의문도 남아 있습니다. Portkey는 현재 호출 한도에 가까워질수록 OpenAI가 고의로 응답 속도를 늦추는지 여부도 추가 조사 중이라고 밝혔습니다. 속도는 확실히 개선되고 있지만, 비용 계산과 인프라 안정성 관리는 여전히 개발자의 몫입니다.