포트키 관측 결과, GPT-4 지연 대폭 개선…최악 대기 시간 3개월 만에 절반으로
포트키 관측 데이터에 따르면 GPT-4의 지연 시간이 꾸준히 감소하며 GPT-3.5와의 속도 격차를 좁히고 있습니다. 특히 상위 99퍼센타일 지연 시간은 3개월 만에 절반 이상 줄었고, 중간값 요청 기준 토큰당 처리 시간은 1ms 이하를 기록했습니다. 비용은 여전히 높지만 속도 장벽은 크게 낮아졌습니다.
포트키 관측 데이터에 따르면 GPT-4의 지연 시간이 꾸준히 감소하며 GPT-3.5와의 속도 격차를 좁히고 있습니다. 특히 상위 99퍼센타일 지연 시간은 3개월 만에 절반 이상 줄었고, 중간값 요청 기준 토큰당 처리 시간은 1ms 이하를 기록했습니다. 비용은 여전히 높지만 속도 장벽은 크게 낮아졌습니다.