인클루전 AI, 실제 서비스 환경서 LLM 성능 겨루는 '인클루전 아레나' 공개
앤트그룹 산하 인클루전 AI가 실제 앱 데이터 기반의 새 LLM 벤치마크 '인클루전 아레나'를 공개했다. 고정된 시험 대신 조이랜드 등 실제 앱의 멀티턴 대화 중 블라인드 테스트를 유도해 브래들리-테리 모델로 순위를 매긴다. 50만 건 이상의 초기 대결에서는 클로드 3.7 소네트와 딥시크 v3 등이 상위권을 차지했다.
앤트그룹 산하 인클루전 AI가 실제 앱 데이터 기반의 새 LLM 벤치마크 '인클루전 아레나'를 공개했다. 고정된 시험 대신 조이랜드 등 실제 앱의 멀티턴 대화 중 블라인드 테스트를 유도해 브래들리-테리 모델로 순위를 매긴다. 50만 건 이상의 초기 대결에서는 클로드 3.7 소네트와 딥시크 v3 등이 상위권을 차지했다.
외신에 따르면 중국 규제 당국이 텐센트와 앤트그룹 등 주요 플랫폼에 챗GPT 우회 연동 서비스 차단을 지시했다. 관영 매체가 미국 선전 도구라며 경계하는 가운데, 바이두 등 현지 IT 기업들은 3월 출시를 목표로 자체 AI 챗봇 개발을 서두르고 있다.