바이두, '어니 3.5' 공개…중국어 벤치마크서 ChatGPT 앞질러

오픈AI가 GPT-4를 내놓은 이후 중국 빅테크가 얼마나 빨리 따라잡을 수 있을지가 관심사였습니다. 바이두는 3개월 만에 결과물을 내놨습니다.

바이두는 챗봇 어니봇(Ernie Bot)의 기반 모델인 어니 3.5(Ernie 3.5)가 주요 벤치마크 테스트에서 오픈AI의 챗GPT를 넘어섰다고 발표했습니다. 중국과학보 보도를 인용해 중국어 테스트에서는 오픈AI의 최신 모델인 GPT-4마저 앞질렀다고 밝혔습니다.

바이두는 지난 3월 어니봇의 공개 테스트를 시작한 이후 파운데이션 모델 개발에 속도를 내왔습니다.

중국어 시험선 GPT-4 능가, 영어선 격차 확인

벤치마크 결과를 뜯어보면 모델별 장단점이 명확히 드러납니다.

마이크로소프트가 공개한 대학 입학시험 및 사법시험 기반 테스트의 경우, 중국어 문항에서는 어니 3.5가 챗GPT는 물론 GPT-4까지 제쳤습니다. 하지만 영어 문항에서는 챗GPT보다는 앞섰으나 GPT-4에는 미치지 못했습니다.

50개 이상 분야의 객관식 1만 3천여 문항으로 구성된 중국어 전문 평가에서도 어니 3.5는 챗GPT와 GPT-4를 모두 앞섰습니다.

반면 미국 대학 연구진이 개발한 과학 및 인문학 종합 평가에서는 어니 3.5가 챗GPT와 GPT-4 모두에 뒤처지는 결과를 보였습니다.

바이두의 왕하이펑 CTO는 어니봇 베타 출시 3개월 만에 창작, 질의응답, 추론, 코드 생성 전반에서 기능이 향상됐으며, 모델 학습 및 추론 속도 역시 개선됐다고 설명했습니다.

플러그인 생태계 도입과 3개월 만의 진화

성능 향상과 더불어 어니 3.5의 눈에 띄는 변화는 플러그인 지원입니다.

플러그인은 챗봇 내에서 외부 애플리케이션을 호출할 수 있는 기능입니다. 바이두는 자사 검색 기능을 플러그인 형태로 어니봇에 연동해, 최신 검색 결과를 답변 생성에 활용할 수 있도록 했습니다.

왜 중요한가

중국어 문서 작업이나 현지 전문 지식 기반 업무를 주로 처리하는 이용자라면 어니 3.5는 충분히 활용해 볼 만한 선택지입니다. 검색 플러그인 덕분에 정보 최신성 문제도 일정 부분 덜어낼 수 있습니다.

저희가 보기에 바이두는 영리한 포지셔닝을 택했습니다. 영어권 벤치마크에서 무리하게 전면전을 펼치기보다, 데이터 우위가 확실한 중국어 영역을 집중 공략해 알리바바 같은 중국 내 경쟁사들에 확실한 기술적 우위를 증명하려 한 셈입니다.

다만 한계도 분명해 보입니다. 미국 대학들이 설계한 글로벌 시험이나 영어 환경에서는 여전히 GPT-4의 벽을 넘지 못했습니다. 플러그인 도입 역시 오픈AI의 전철을 밟고 있는 만큼, 이용자를 지속적으로 붙잡아둘 유용한 서드파티 생태계를 얼마나 키워낼 수 있을지가 관건입니다.