인클루전 AI, 실제 서비스 환경서 LLM 성능 겨루는 '인클루전 아레나' 공개

새로운 거대언어모델이 나올 때마다 제조사들은 벤치마크 테스트에서 최고점을 기록했다며 화려한 수치를 앞세웁니다. 하지만 정적 데이터셋에서 만점을 받은 모델이라도 실제 서비스에 적용하면 기대 이하의 성능을 보이는 경우가 부지기수입니다.

알리바바 앤트그룹 산하의 인클루전 AI 연구진이 이러한 문제를 해결하기 위해 실제 서비스 환경 기반의 평가 랭킹인 인클루전 아레나를 공개했습니다.

연구실 시험 대신 상용 앱 속에서 블라인드 테스트

인클루전 아레나는 웹사이트에 접속한 자발적 참여자들에게 질문을 던지게 하는 기존 크라우드소싱 방식과 달리, 벤치마크 시스템을 실제 상용 애플리케이션 내부에 심었습니다.

현재 캐릭터 챗봇 앱인 조이랜드와 교육 소통 앱인 티박스 두 곳에 연동되어 있습니다. 이용자가 앱에서 평소처럼 대화를 나누면, 백엔드에서 여러 LLM으로 프롬프트를 전송해 답변을 생성합니다.

사용자는 어떤 모델이 작성했는지 모르는 상태에서 가장 마음에 드는 답변을 선택하게 되며, 이 과정이 곧 자연스러운 블라인드 대결 데이터가 됩니다.

2025년 7월까지 수집된 초기 데이터에 따르면, 46,611명 이상의 활성 사용자로부터 501,003건의 모델 간 비교 데이터가 집계되었습니다.

초기 랭킹에서는 앤트로픽의 클로드 3.7 소네트가 1위를 차지했으며, 딥시크 v3-0324, 클로드 3.5 소네트, 딥시크 v3, 큐웬 맥스-0125가 그 뒤를 이었습니다.

체스 레이팅을 넘어 실시간 효율 극대화

챗봇 아레나 등 많은 랭킹 플랫폼이 체스에서 유래한 엘로 평점 시스템을 주로 사용하는 반면, 인클루전 아레나는 브래들리-테리 확률 모델을 채택했습니다. 모델 수가 늘어나는 환경에서도 훨씬 안정적인 점수 산출이 가능하다는 설명입니다.

또한 모델 수가 급증할 때 모든 쌍을 직접 대결시키는 것은 막대한 연산 비용을 초래합니다.

연구진은 이를 해결하기 위해 두 가지 알고리즘을 도입했습니다. 신규 모델의 대략적인 티어를 신속히 파악하는 배치 매치 메커니즘과, 신뢰 구간 내 비슷한 실력을 가진 모델끼리만 맞붙이는 근접 샘플링 방식입니다.

현재 연동된 앱 수가 적다는 점을 연구진도 인정하고 있으며, 향후 개방형 연합을 구축해 연동 애플리케이션 생태계를 넓혀갈 계획입니다.

왜 중요한가

기업이나 개발자가 실제 서비스 도입용 LLM을 선택할 때, 사전 학습 오염으로 신뢰도가 떨어진 기존 벤치마크보다 실제 사용자 선호도가 훨씬 가치 있는 기준이 됩니다.

다만 현 시점의 순위를 엔터프라이즈 환경 전반의 척도로 일반화하기는 이르다고 판단됩니다. 데이터가 수집된 환경이 캐릭터 대화와 교육 소통 앱에 한정되어 있어, 자연스러운 대화 톤이나 공감 능력은 잘 반영되지만 복잡한 코딩이나 금융 데이터 분석 같은 업무 성능을 대변하지는 못합니다.

업계 관점에서는 AI 마니아들이 까다로운 질문으로 모델을 시험하는 환경에서 벗어나, 평범한 대중이 일상적으로 체감하는 만족도를 측정하기 시작했다는 점이 흥미롭습니다.

실제 트래픽을 활용해 평가 비용을 낮춘 접근 방식은 영리합니다. 관건은 연합 생태계 확장에 있습니다. 생산성 도구나 검색 등 다양한 도메인의 앱을 끌어들이지 못한다면, 특정 엔터테인먼트 분야에 국한된 참고 지표에 머물 위험도 존재합니다.