오픈AI, 개선된 'GPT-4 터보' 출시…비전에 JSON 모드·함수 호출 지원

대규모 성능 개선이라는 공식 발표와 달리, 개발자 커뮤니티에서는 뜻밖의 혹평이 터져 나왔습니다.

OpenAI는 4월 9일, API를 통해 대폭 개선된 GPT-4 Turbo 모델을 출시하고 ChatGPT에도 순차 적용하기 시작했습니다. 이번 배포의 핵심은 GPT-4 Turbo with Vision의 정식 출시(GA)로, 시각 처리 요청에서도 JSON mode와 Function Calling을 기본 지원하게 된 점입니다.

하지만 공식 발표 직후, 오픈소스 AI 코딩 도구 개발진이 공개한 벤치마크 결과는 전혀 다른 현실을 보여줬습니다.

비전과 함수 호출은 통합됐지만, 코딩 점수는 하락

멀티모달 앱을 만드는 개발자들에게 이번 업데이트는 반가운 소식이었습니다. 이미지를 입력받아 규격화된 JSON으로 뽑아내거나 외부 함수를 호출하기 위해 거쳐야 했던 복잡한 우회로가 사라졌기 때문입니다.

그러나 순수 코딩 작업에 모델을 투입하자마자 성능 저하가 확인됐습니다.

코딩 보조 도구인 aider가 133개의 파이썬 코드 수정 과제로 테스트한 결과, 새로운 GPT-4 Turbo with Vision은 62%의 점수를 기록했습니다. 기존 GPT-4 제품군이 63~66%를 기록했던 것과 비교하면 제품군 내에서 가장 낮은 점수입니다.

통계적으로 아주 큰 격차는 아닐 수 있지만, 기대했던 성능 향상은 전혀 없었던 셈입니다.

코딩 '게으름' 문제는 오히려 심각해졌다

단순한 오답보다 더 큰 문제는 모델이 코드를 완성하지 않고 건너뛰는 이른바 '게으른 코딩(Lazy coding)' 현상이 심해졌다는 점입니다.

기존 GPT-4 Turbo 역시 복잡한 로직이 나오면 직접 코드를 짜는 대신 '여기에 코드를 구현하세요'라는 주석만 남겨 비판을 받아왔습니다.

aider가 이러한 게으른 행동을 유도하도록 설계한 89개의 파이썬 리팩토링 테스트에서, 새 모델은 34%라는 저조한 점수를 받았습니다. 역대 GPT-4 Turbo 모델 중 가장 게으른 코더라는 평가가 나온 배경입니다.

결국 aider 측은 새 모델을 지원하는 옵션을 추가하면서도, 기본 모델은 여전히 코딩 성능이 가장 우수한 gpt-4-1106-preview로 유지하겠다고 발표했습니다.

왜 중요한가

이번 사태는 모든 기능을 한 모델에 밀어 넣는 범용 AI의 한계를 명확하게 보여줍니다.

이미지를 분석해 정형화된 데이터로 추출하는 멀티모달 파이프라인을 구축 중인 팀이라면 지금 즉시 도입할 가치가 충분합니다.

반면 복잡한 소프트웨어 엔지니어링이나 코드 리팩토링이 주목적인 개발자라면, 굳이 서둘러 전환할 이유가 없으며 오히려 이전 버전을 유지하는 것이 현명해 보입니다.

우리는 OpenAI가 비전 인식과 구조화된 출력 능력을 하나의 경량화된 터보 모델에 결합하는 과정에서, 고난도 프로그래밍 로직에 필요한 가중치나 추론 집중도를 희생시킨 것으로 보고 있습니다. '공식 최신 모델'이라는 라벨만 믿고 프로덕션 환경을 무작정 업데이트하는 것은 위험하며, 자체 벤치마크 검증이 필수적인 단계에 접어들었습니다.