벡타라, 기업용 AI 환각 교정기 출시: 오답률 0.9%대로 축소

기업 환경에서 생성형 AI를 활용할 때 가장 큰 걸림돌은 단연 환각 현상입니다. 금융, 의료, 법률 같은 규제 산업에서는 AI가 그럴듯하게 지어낸 답변 하나가 치명적인 리스크로 이어집니다.

엔터프라이즈 AI 에이전트 플랫폼 기업인 Vectara는 모델의 부정확한 응답을 실시간으로 감지하고 수정하는 새로운 도구인 Hallucination Corrector를 자사 서비스에 내장해 출시했습니다.

추론 모델 도입 이후 오히려 늘어난 허위 답변

기존 대규모 언어 모델의 평균 환각 발생률은 대략 3%에서 10% 사이로 추정되어 왔습니다.

하지만 복잡한 문제를 단계별로 풀어나가는 추론형 AI 모델이 본격적으로 쓰이기 시작하면서 환각 빈도는 오히려 눈에 띄게 높아졌습니다.

Vectara의 자체 조사에 따르면 추론 모델인 DeepSeek-R1의 환각률은 14.3%에 달해 이전 세대인 DeepSeek R3의 3.9%보다 크게 올랐습니다. OpenAI의 GPT-o1 역시 2.4%를 기록하며 GPT-4o의 1.5%를 웃돌았습니다. 과학 잡지 뉴사이언티스트도 비슷한 조사 결과를 발표한 바 있습니다.

Vectara 창업자이자 CEO인 Amr Awadallah는 언어 모델이 눈부신 발전을 이뤘지만 금융, 헬스케어 등 높은 정확도를 요구하는 산업 기준에는 여전히 턱없이 부족하다고 강조했습니다.

실시간 문서 대조 후 최소한의 수정으로 보정

Vectara는 초기 테스트 결과 이번 교정기를 통해 기업 AI 시스템의 환각률을 약 0.9% 수준까지 낮췄다고 밝혔습니다.

이 시스템은 Vectara의 자체 평가 모델인 HHEM을 기반으로 작동합니다. HHEM은 답변을 원본 문서와 비교해 0에서 1 사이의 확률 점수를 매기며, 지난달 허깅페이스에서 25만 회 이상 다운로드될 만큼 널리 쓰이고 있습니다.

사실관계가 일치하지 않는 답변이 감지되면 시스템은 해당 내용이 왜 환각인지 설명하고, 원문의 의미를 해치지 않는 선에서 최소한으로 고친 수정본을 함께 제공합니다.

최종 사용자에게는 교정된 요약본을 바로 보여줄 수 있고, 기술진은 전체 오류 분석 데이터를 바탕으로 프롬프트나 가드레일을 튜닝하는 데 활용할 수도 있습니다.

왜 중요한가

사내 문서 검색이나 고객 응대 에이전트를 도입하려는 기업 입장에서는 모델의 거짓말을 통제하는 것이 배포의 성패를 가릅니다. 프롬프트 엔지니어링만으로 환각을 막기 버거운 상황에서 이러한 검증 레이어는 실무진에게 매우 유용한 선택지입니다.

Vectara의 이번 대응은 매우 현실적이고 영리해 보입니다. 막대한 비용이 드는 파운데이션 모델 개발 대신, 기업 고객이 가장 골머리를 앓는 규제 준수와 신뢰도 검증 영역에 집중했기 때문입니다. 특히 추론 모델의 생각 과정에서 엉뚱한 정보가 끼어드는 일이 잦아진 현시점에 꼭 필요한 기능입니다.

하지만 오류율을 0.9%로 낮췄다고 해서 실수가 완전히 사라진 것은 아닙니다. 오차가 용납되지 않는 엄격한 업무에서는 여전히 사람의 최종 검수가 필요합니다. 아울러 매 답변마다 원본 문서를 대조하고 다시 작성하는 과정에서 발생하는 응답 지연과 추가 비용 문제는 기업이 감수해야 할 과제입니다.