MS, AI 오류 찾아 수정까지 해주는 '교정' 기능 공개

생성형 AI가 거짓말을 지어내는 환각 현상은 기업들이 챗봇 도입을 가장 주저하게 만드는 이유입니다. 고객에게 엉뚱한 답변을 내보냈다가는 곧바로 서비스 신뢰도 하락으로 이어지기 때문입니다.

그동안은 잘못된 답변을 찾아내 경고하는 도구들이 주로 쓰였지만, 마이크로소프트는 한 걸음 더 나아갔습니다. 오류를 감지하는 데서 그치지 않고, 사용자에게 도달하기 전에 아예 올바른 내용으로 고쳐 쓰겠다는 접근입니다.

마이크로소프트는 애저 AI 스튜디오의 안전 도구 모음의 일부로 'Correction(교정)' 기능을 프리뷰 형태로 공개했습니다.

사용자가 보기 전에 알아서 고쳐 쓴다

Correction 기능은 기업 고객이 등록한 원본 근거 자료와 AI의 생성 결과를 실시간으로 비교 대조하는 방식으로 작동합니다.

AI의 답변이 제공된 문서와 일치하지 않으면 시스템이 이를 감지하고, 왜 틀렸는지 이유를 파악한 뒤 사용자가 화면을 보기도 전에 해당 내용을 자동으로 재작성합니다.

마이크로소프트 대변인은 테크크런치와의 인터뷰에서 이 시스템이 소형 언어 모델과 대형 언어 모델을 결합해 AI 출력을 원본 자료와 일치시키도록 설계되었다고 밝혔습니다.

다만 마이크로소프트는 기술적 한계도 명확히 짚었습니다. 테크크런치에 보낸 성명에서 이번 감지 기능이 절대적인 정확성 자체를 완전히 해결하는 것은 아니며, 어디까지나 생성형 AI의 답변을 원본 참조 문서와 정렬하도록 돕는 역할이라고 선을 그었습니다.

구글 클라우드의 버텍스 AI 역시 구글 검색이나 자체 데이터를 바탕으로 출력을 검증하는 접지 기능을 지원하고 있지만, 마이크로소프트는 플랫폼 차원에서 자동 재작성까지 파이프라인으로 묶어낸 점을 앞세우고 있습니다.

왜 중요한가

기업 입장에서 환각 제어는 엄청난 엔지니어링 리소스가 들어가는 골칫거리였는데, 마이크로소프트가 이를 클라우드 플랫폼의 기본 기능으로 포섭한 것은 영리한 선택입니다.

사내 규정집이나 매뉴얼 기반으로 RAG 챗봇을 운영하는 기업과 개발자라면 지금 즉시 테스트해볼 가치가 충분합니다. 검증 로직과 재작성 프롬프트를 일일이 구현하던 수고를 상당 부분 덜어낼 수 있기 때문입니다.

하지만 현실적인 문제도 따릅니다. 생성된 답변을 또 다른 모델이 검사하고 문장을 다시 쓰는 구조인 만큼, 사용자에게 응답이 도달하기까지의 지연 시간과 추가 토큰 비용 발생은 피하기 어렵습니다.

무엇보다 오류를 잡는 교정 시스템 역시 결국 AI 모델이라는 점입니다. 검수 모델 자체가 원본 문맥을 잘못 이해해 엉뚱한 방향으로 문장을 고쳐버릴 위험도 여전히 존재합니다.

결국 클라우드 빅테크들의 경쟁은 거대 모델의 단순 성능 자랑을 넘어, 기업이 안심하고 현업에 배포할 수 있는 안전장치 완성도 싸움으로 본격 전환되고 있습니다.