환각률 가장 낮은 AI 모델 순위: Zhipu AI·구글 1.3%로 공동 1위

인공지능 모델은 파라미터 규모가 클수록 더 똑똑하고, 따라서 엉뚱한 거짓말도 덜 할 것이라는 생각이 일반적입니다.

하지만 데이터 시각화 매체 비주얼 캐피털리스트(Visual Capitalist)가 인용한 벡타라(Vectara)의 최신 벤치마크는 이러한 상식을 뒤집었습니다. 환각(할루시네이션) 발생률이 가장 낮은 상위 15개 모델을 집계한 결과, 거대 모델들을 제치고 경량화 모델들이 최상위권을 휩쓸었습니다.

2024년 12월 11일 기준 데이터에 따르면, 중국 지푸 AI(Zhipu AI)의 GLM-4-9B-Chat과 구글의 Gemini-2.0-Flash-Exp가 나란히 1.3%의 최저 환각률을 기록하며 공동 1위에 올랐습니다. 그 뒤를 이어 OpenAI의 소형 추론 모델인 o1-mini가 1.4%로 3위를 차지했습니다.

거대 모델보다 거짓말 덜 하는 경량 모델

환각률은 대규모 언어 모델(LLM)이 사실과 다르거나 근거 없는 정보를 생성하는 빈도를 뜻합니다. IBM은 이를 존재하지 않는 패턴을 감지해 엉뚱한 결과물을 내놓는 현상으로 정의합니다.

벡타라는 각 모델에 1,000개의 짧은 문서를 요약하게 한 뒤, 별도의 탐지 모델로 원문과 일치하지 않는 요약문의 비율을 측정했습니다.

테스트 결과는 놀라웠습니다. 인텔의 Neural-Chat-7B가 2.6%, 마이크로소프트의 Phi-3.5-MoE가 2.5%, 알리바바의 Qwen2.5-7B-Instruct가 2.8%의 낮은 환각률을 기록했습니다.

벡타라는 경량 모델이 파라미터가 훨씬 큰 거대 모델과 비슷하거나 오히려 더 뛰어난 정확도를 낼 수 있다고 분석했습니다. 대형 모델은 뛰어난 성능 뒤에 높은 비용과 느린 추론 속도라는 단점이 따르지만, 특정 작업에서는 Mistral 8x7B처럼 구조가 탄탄한 소형 모델이 환각을 제어하는 데 더 효과적이라는 설명입니다.

OpenAI 제품군의 고른 정확도와 경쟁 구도

기반 모델 간의 경쟁에서는 구글의 Gemini 2.0 Flash가 OpenAI의 GPT-4를 환각률 0.2% 포인트 차이로 근소하게 앞섰습니다.

그러나 제품군 전체의 일관성 면에서는 OpenAI의 완성도가 돋보였습니다. GPT-4o가 1.5%, GPT-4o-mini와 Turbo가 각각 1.7%, 표준 GPT-4가 1.8%, 심지어 구버전인 GPT-3.5-Turbo도 1.9%에 머물렀습니다.

동일한 아키텍처의 다양한 변형 모델 전반에서 사실 일치율을 안정적으로 유지하고 있다는 뜻입니다. 한편 중국 딥시크(DeepSeek)의 V2.5 모델도 2.4%의 환각률을 기록해 마이크로소프트의 Orca-2(2.5%)를 제치고 상위권에 이름을 올렸습니다.

왜 중요한가

엔터프라이즈 환경에서 RAG(검색 증강 생성)나 사내 문서 요약 시스템을 구축하는 개발자와 기업에게 이번 데이터는 실질적인 방향타를 제시합니다.

금융, 법률, 의료처럼 사소한 오류도 치명적인 영역에서 문서를 다룰 때 굳이 비싼 최고 사양 거대 모델을 고집할 필요가 없다는 사실이 입증됐기 때문입니다. GLM-4-9B나 GPT-4o-mini 같은 모델을 쓰면 비용과 지연 시간을 대폭 줄이면서도 오히려 팩트에 충실한 결과물을 얻을 수 있습니다.

산업 전체로 보면 파라미터 경쟁 일변도였던 개발 흐름에 제동을 거는 신호입니다. 모델을 무조건 키우는 것보다 특정 도메인에서 헛소리를 하지 않도록 미세 조정하는 기술이 현업에서는 훨씬 강력한 경쟁력이 됩니다.

다만 이번 평가가 1,000건의 단문 요약이라는 명확한 참고 자료가 주어진 조건에서 측정되었다는 점은 감안해야 합니다. 사전 정보가 주어지지 않는 자유 질의나 고난도 복합 추론에서도 소형 모델이 동일한 수준으로 환각을 억제할 수 있을지는 추가적인 검증이 필요해 보입니다.