앤트로픽, Claude 2.1 출시: 20만 토큰 컨텍스트 지원 및 환각 현상 절반 감소

수백 쪽에 달하는 증권신고서나 방대한 코드베이스를 인공지능에 분석시키려다, 텍스트를 일일이 쪼개서 넣느라 번거로웠던 경험이 누구나 있을 것입니다.

Anthropic이 최신 인공지능 모델 Claude 2.1을 공개하고 API 콘솔과 claude.ai 챗 서비스에 적용했습니다. 장문 처리 능력과 기업용 신뢰성을 대폭 끌어올린 것이 핵심입니다.

500쪽 분량을 한 번에 삼키는 20만 토큰

Claude 2.1의 가장 큰 변화는 업계 최초로 제공되는 20만 토큰 문맥 창입니다. 이는 영문 기준 약 15만 단어, 책 500쪽이 넘는 분량에 해당합니다.

이제 사용자는 오디세이 같은 장편 고전 문학이나 회사의 상장 신청 서류, 소프트웨어 코드베이스 전체를 한 번에 올려두고 대화할 수 있습니다. 문서 간 비교 분석이나 장기 트렌드 예측, 심층 요약 작업이 단일 프롬프트에서 가능해졌습니다.

다만 20만 토큰을 처리하는 연산에는 다소 시간이 걸립니다. 사람이 몇 시간 걸려 할 작업을 Claude가 몇 분 만에 끝내기는 하지만, Anthropic은 기술이 발전함에 따라 응답 지연 시간이 크게 줄어들 것이라고 밝혔습니다.

환각 현상 절반 감소, 모르면 모른다고 답한다

용량 확장 못지않게 중요한 개선점은 할루시네이션(환각) 억제입니다.

Anthropic 자체 평가에 따르면 Claude 2.1의 거짓 진술 비율은 이전 Claude 2.0 대비 2배 감소했습니다. 모델의 취약점을 파고드는 사실 확인 질문을 던졌을 때, 엉뚱한 오답을 그럴듯하게 꾸며내기보다 확실하지 않다고 인정하는 태도를 보였습니다.

법률 문서나 금융 보고서처럼 높은 정확도가 요구되는 장문 요약 평가에서도 오답률이 30% 줄었습니다. 문서가 특정 주장을 뒷받침한다고 잘못 결론 내리는 빈도는 3분의 1에서 4분의 1 수준으로 떨어졌습니다. 개발자를 위한 시스템 프롬프트, 프롬프트 테스트 환경인 Workbench, 외부 API와 계산기를 연결하는 도구 사용(Tool use) 베타 기능도 새로 탑재되었습니다.

왜 중요한가

20만 토큰 문맥 창은 방대한 계약서와 기술 문서를 일상적으로 다루는 개발자나 분석가들에게 실질적인 업무 효율을 가져다줍니다. 복잡한 검색 증강 파이프라인을 구축하지 않고도 원본 파일 자체를 통째로 넘길 수 있기 때문입니다.

우리는 Anthropic이 거짓말을 줄이고 불확실성을 인정하도록 모델을 조율한 점을 매우 영리한 전략으로 평가합니다. 기업 입장에서 생성형 AI 도입을 가로막는 가장 큰 걸림돌은 환각으로 인한 법적·재무적 리스크입니다. 화려한 답변보다 솔직한 한계를 드러내는 모델이 실무 배치에서는 훨씬 안전합니다.

이로써 대형 언어 모델 시장의 문맥 창 확장 경쟁은 더욱 치열해질 것으로 보입니다. 다만 방대한 문서를 입력했을 때 응답까지 수 분이 걸리는 지연 시간 문제는 실시간 상호작용이 필요한 서비스에서 풀어야 할 과제로 남아 있습니다.