오픈AI, 성능 개선된 GPT-4o 모델 배포…“구체적 변화는 설명 어려워”

보통 AI 기업이 새 모델을 내놓을 때는 각종 벤치마크 점수를 내세우며 어디가 어떻게 좋아졌는지 자랑하기 바쁩니다. 하지만 이번 오픈AI의 행보는 사뭇 달랐습니다.

외신 보도에 따르면 오픈AI는 챗GPT와 API에 업데이트된 GPT-4o 모델을 배포했습니다. 새 모델은 대형 모델 평가 플랫폼인 챗봇 아레나에서 곧바로 1위를 탈환했고, 최대 출력 토큰도 16,384개로 대폭 늘어났습니다. 하지만 정작 개발사인 오픈AI는 구체적으로 어떤 동작이 개선되었는지 정확히 설명하기 어렵다고 털어놓았습니다.

커뮤니티의 추측과 오픈AI의 솔직한 고백

공식 발표가 나오기 전부터 사용자 커뮤니티에서는 모델의 변화를 감지하는 목소리가 높았습니다. 작업 처리 방식이 달라졌다거나, 멀티스텝 추론 능력이 적용된 것 아니냐는 주장이 대표적이었습니다.

X의 한 사용자는 GPT-4o가 복잡한 수식을 단계별로 쪼개 푸는 등 눈에 띄는 추론 방식을 구사하기 시작했다고 적었습니다. 그러나 오픈AI 대변인은 이러한 멀티스텝 추론 관련 추측은 사실과 다르다고 공식적으로 선을 그었습니다.

화요일 공개된 릴리스 노트에서 오픈AI는 이번 업데이트를 chatgpt-4o-latest로 명명하며 궁금증을 일부 해소했습니다. 마이크로소프트 애저에 공급된 gpt-4o-2024-08-06 모델과는 다른, 챗GPT와 지속적인 연구 평가를 위한 동적 모델입니다.

설명은 매우 담담했습니다. 새로운 프론티어급 모델이 아니라 단순한 버그 수정과 성능 개선 수준이라는 것입니다. 오픈AI는 모델의 구체적인 행동 변화를 정밀하게 벤치마크하고 설명하는 일 자체가 현재 연구 중인 과제라며, 사용자 피드백을 바탕으로 좋은 데이터를 더하고 나쁜 데이터를 덜어내는 식의 튜닝을 거쳤다고 설명했습니다.

챗봇 아레나 1위 탈환과 출력 토큰 대폭 확대

어떻게 좋아졌는지 말로 풀기는 어려웠을지 몰라도, 결과물은 확실했습니다.

블라인드 테스트 플랫폼인 챗봇 아레나에서 이 모델은 anonymous-chatbot이라는 익명으로 먼저 시험대에 올랐습니다. 11,000건이 넘는 커뮤니티 투표 끝에 1315점을 얻으며 구글의 제미나이 1.5를 제치고 다시 1위 왕좌를 되찾았습니다. 특히 코딩과 지시어 수행, 까다로운 프롬프트 대응에서 강세를 보였습니다.

스펙 측면에서는 출력 한도가 눈에 띄게 커졌습니다. 128,000 토큰의 입력 크기와 2023년 10월까지의 학습 데이터 기준은 기존과 같지만, 최대 출력 토큰이 기존 4,096개에서 GPT-4o-mini와 동일한 16,384개로 늘어났습니다. 긴 코드를 한 번에 짜거나 긴 글을 작성할 때 출력이 중간에 끊기는 일이 확연히 줄어들게 되었습니다.

왜 중요한가

일반 사용자와 개발자에게 이번 업데이트는 별도 설정이나 추가 비용 없이 즉시 체감할 수 있는 실질적인 개선입니다. 챗GPT 웹과 모바일 앱, API에 이미 기본 적용되어 있으며, 출력 토큰 확장은 긴 작업물을 다루는 사용자에게 바로 와닿는 장점입니다. 지금 바로 사용해 볼 가치는 충분합니다.

하지만 업계 전반의 관점에서 보면 이번 발표는 기존 AI 평가 체계의 한계를 선명하게 보여줍니다.

공개 벤치마크 점수로 모델의 우열을 가리던 시대가 지나고, 미세한 뉘앙스와 데이터 튜닝을 통한 주관적 선호도가 승패를 가르는 영역으로 진입했습니다. 오픈AI가 정밀한 지표 대신 챗봇 아레나 투표와 지속적인 데이터 수정으로 경쟁사를 따돌리는 방식은 영리하지만, 기업 고객 입장에서는 모델의 출력 특성이 원인 모르게 달라질 수 있다는 불확실성을 감수해야 하는 과제를 남깁니다.