챗봇 아레나 왕좌 바뀌었다…클로드 3 오퍼스, GPT-4 첫 추월

지난 1년 동안 생성형 AI 업계에는 깨지지 않던 암묵적인 공식이 하나 있었습니다. 경쟁사들이 발표회에서 제아무리 뛰어난 벤치마크 점수를 자랑해도, 실제 사용자들의 블라인드 테스트 링 위에 올라서면 언제나 1위는 OpenAI의 GPT-4 차지였다는 점입니다.

하지만 이번 주 화요일, 그 독주 체제가 마침내 무너졌습니다. Anthropic의 최상위 플래그십 모델인 Claude 3 Opus가 대규모 언어 모델 맹검 평가 플랫폼인 Chatbot Arena에서 사상 처음으로 GPT-4를 제치고 전체 1위에 올랐습니다. 개발자 Nick Dobos는 소셜 미디어에 "왕은 죽었다. GPT-4여 편히 잠들라"는 촌철살인의 평가를 남겼고, 이 소식은 개발자 커뮤니티를 뜨겁게 달궜습니다.

점수 경쟁 대신 이용자가 직접 느낀 '체감'의 승리

Chatbot Arena는 UC 버클리, UC 샌디에이고, 카네기 멜론 대학 연구진이 주축이 된 LMSYS 연구진이 운영하는 크라우드소싱 기반 랭킹 플랫폼입니다.

작동 방식은 매우 직관적입니다. 이용자가 질문을 입력하면 모델명이 가려진 두 개의 창에 답변이 나란히 출력됩니다. 이용자는 오직 답변 품질만 보고 어느 쪽이 나은지 투표하며, 투표가 끝난 뒤에야 모델 이름이 공개됩니다. 이렇게 쌓인 수만 건의 주관적 대결 데이터를 통계적으로 집계해 순위를 매깁니다.

고정된 시험 문제에만 모델을 억지로 맞추는 이른바 과적합 벤치마크와 달리, 이용자들이 일상에서 느끼는 직관적인 만족감과 사용성을 가장 잘 대변한다는 평가를 받습니다. 실제로 2023년 5월 GPT-4가 이 리그에 합류한 이래, 그 어떤 모델도 GPT-4 변형 모델들을 1위 자리에서 끌어내리지 못했습니다.

더 놀라운 점은 엔트리급 모델인 Claude 3 Haiku의 선전입니다. 독립 AI 연구자 Simon Willison은 고난도 작업에는 Opus, 비용과 처리 효율에는 Haiku라는 선택지가 생기면서 최고의 AI 모델을 OpenAI가 아닌 공급자에게서 얻을 수 있는 최초의 순간이 왔다고 짚었습니다. 다만 다른 기업들이 GPT-4를 따라잡는 데 꼬박 1년이 걸렸다는 점도 함께 상기시켰습니다.

왜 중요한가

AI를 일상 업무나 개발에 적극적으로 도입해 온 이용자들에게는 OpenAI 단일 생태계에 의존하던 관성을 깰 확실한 근거가 마련되었습니다. 긴 문맥 이해력과 코딩 완성도, 자연스러운 문장 구사력 면에서 Claude 3는 이미 수많은 파워 유저들의 메인 작업 도구로 자리 잡기 시작했습니다.

산업 전반의 판도로 보더라도 이번 왕좌 교체는 거대한 신호탄입니다. 아마존이 최근 27억 5,000만 달러의 추가 투자를 집행하며 Anthropic의 실탄을 채워준 상황에서, 절대 강자였던 OpenAI의 기술적 헤게모니에 명확한 균열이 생겼기 때문입니다.

다만 이번 1위 탈환이 장기적인 지배로 이어질지는 아직 지켜볼 일이라고 생각합니다. 엄밀히 말해 Claude 3 Opus가 넘어선 것은 출시된 지 1년이 훌쩍 지난 구형 GPT-4 모델이기 때문입니다.

공은 완전히 OpenAI로 넘어갔습니다. 올해 차세대 모델 출시를 앞둔 OpenAI가 어떤 수준의 지능 도약을 보여주느냐에 따라 이 격차는 다시 벌어질 수 있지만, 적어도 대형 언어 모델 시장이 지루한 1강 독주에서 벗어나 진정한 다자 경쟁 국면에 진입했다는 사실만큼은 분명해 보입니다.