최신 GPT-4o, LMSYS 벤치마크 1위 탈환: 코딩 성능 30점 상승
LMSYS는 OpenAI의 최신 GPT-4o(20240808)가 1,314점을 기록하며 구글 Gemini-1.5-Pro-Exp를 제치고 Chatbot Arena 종합 1위를 탈환했다고 밝혔다. 코딩과 고난도 프롬프트 등 여러 부문에서 선두를 차지했으며, API에서는 chatgpt-4o-latest로 제공된다.
대형 언어 모델의 1위 자리가 며칠 만에 다시 뒤바뀌었습니다.
LMSYS는 OpenAI의 최신 모델인 ChatGPT-4o(20240808)가 1만 1천 건 이상의 커뮤니티 블라인드 투표를 거쳐 1314점을 기록하며 챗봇 아레나 종합 1위를 탈환했다고 발표했습니다. 최근 1위에 올랐던 Google의 Gemini-1.5-Pro-Exp를 다시 앞지른 결과입니다.
코딩 점수 30점 상승, API 엔드포인트도 공개
이번 체크포인트는 기술 영역에서 두드러진 개선을 보였습니다. 특히 코딩 분야 점수는 5월 13일 버전의 GPT-4o 대비 30점 이상 올랐습니다.
세부 순위에서도 고난도 프롬프트, 지시 수행, 긴 쿼리, 다중 턴 대화 부문에서 모두 1위를 휩쓸었으며 수학 부문에서도 1~2위를 기록했습니다.
OpenAI는 이 모델을 API에서 chatgpt-4o-latest라는 이름으로 즉시 제공하기 시작했습니다. 다만 일반적인 프로덕션 환경에는 gpt-4o-2024-08-06을 권장하며, latest 엔드포인트는 최신 대화 성능을 테스트하려는 개발자용이라고 설명했습니다.
왜 중요한가
프론티어 모델 경쟁이 주 단위의 치열한 공방전으로 바뀌었습니다. Google이 실험용 Gemini로 1위를 차지하자마자 OpenAI가 미세조정 버전을 내세워 곧바로 왕좌를 되찾아온 셈입니다.
안정적인 프로덕션용 고정 버전과 최신 성능 평가용 latest 버전을 영리하게 분리했다는 점도 돋보입니다. 코딩이나 복잡한 지시문 처리를 자주 맡기는 개발자라면, 향상된 30점의 격차가 실무에서 얼마나 체감되는지 지금 바로 테스트해 볼 만합니다.
출처 (1)
- @lmsysorg(새 탭에서 열림)원문x.com
토픽 추적OpenAI GPT-4o 모델 업데이트
- 오픈AI, 성능 개선된 GPT-4o 모델 배포…“구체적 변화는 설명 어려워”
- 최신 GPT-4o, LMSYS 벤치마크 1위 탈환: 코딩 성능 30점 상승이 기사
- OpenAI, GPT-4o 조용히 업데이트: 출력 토큰 4배 늘었지만 세부 변경점은 비공개