앤트로픽, '클로드 3' 발표…최상위 오퍼스 벤치마크 선두

지난 1년 넘게 독주하던 GPT-4의 아성에 정면으로 도전장을 내민 모델이 마침내 등장했습니다.

Anthropic은 3월 4일 차세대 AI 모델 라인업인 Claude 3 패밀리를 공개했습니다. 이번 제품군은 사용자의 필요에 맞춰 지능과 속도, 비용을 선택할 수 있도록 Haiku, Sonnet, Opus 등 세 가지 모델로 나뉩니다.

최상위 모델인 Opus와 중간 체급의 Sonnet은 159개국 API와 claude.ai 웹 서비스에 즉시 배포되었으며, 가장 작고 빠른 Haiku도 곧 출시될 예정입니다.

벤치마크 석권과 테스트 함정까지 간파한 추론 능력

가장 눈길을 끄는 모델은 단연 Opus입니다. 학부 수준 지식을 평가하는 MMLU와 대학원 수준 추론인 GPQA, 수학 벤치마크 GSM8K 등 주요 평가 전반에서 기존 최고 모델들을 앞서는 성능을 기록했습니다.

Claude 3 전 모델에는 멀티모달 시각 기능이 새로 탑재되었습니다. 텍스트뿐만 아니라 차트, 그래프, 기술 도면, PDF 문서 등을 매끄럽게 인식하고 분석합니다.

작동 속도 역시 크게 향상되었습니다. Sonnet은 Claude 2 대비 처리 속도가 2배 빨라졌고, 경량 모델인 Haiku는 도표가 포함된 1만 토큰 분량의 arXiv 연구 논문을 3초도 안 되어 읽어냅니다.

이전 세대의 고질병으로 꼽히던 지나친 답변 거부 현상도 대폭 개선되었습니다. 시스템 안전장치 주변의 미묘한 문맥을 더 잘 파악하게 되면서 무해한 질문을 거부하는 빈도가 크게 줄었고, 답변 정확도는 Claude 2.1 대비 두 배 높아졌습니다.

기본 200k 토큰 컨텍스트 창을 지원하며 방대한 문서 속 정보 검색 테스트에서 99% 이상의 회수율을 보였습니다. 특히 Opus는 숨겨진 문장을 찾아내는 과정에서 해당 문장이 인간 테스터에 의해 억지로 끼워 넣어진 것 같다는 점까지 스스로 짚어내며 화제를 모았습니다.

왜 중요한가

OpenAI가 주도하던 프론티어 AI 시장에서 GPT-4의 독점을 깨뜨린 실질적인 경쟁자가 처음으로 나왔다는 점에서 의의가 큽니다.

사용자와 개발자 입장에서는 지금 당장 써볼 만한 가치가 충분합니다. 무료 웹 버전에는 이미 Sonnet이 적용되어 일상 작업과 코딩에서 훨씬 쾌적한 속도를 체감할 수 있고, Pro 구독자나 API 이용자는 Opus를 통해 방대한 보고서 분석이나 복잡한 추론 작업을 한 차원 높은 품질로 처리할 수 있습니다.

모델을 3단계로 명확히 나눈 전략도 실용적입니다. 실시간 챗봇이나 단순 분류에는 저렴한 Haiku를 쓰고, 기업 대규모 워크로드에는 Sonnet, 고난도 작업에는 Opus를 배치해 비용 대비 효율을 극대화할 수 있기 때문입니다.

다만 Opus 같은 대형 모델을 운영하는 데 드는 막대한 추론 비용과 트래픽 급증 시의 인프라 안정성은 여전히 지켜봐야 할 대목입니다. 그럼에도 불구하고 이번 발표는 AI 모델 간의 성능 경쟁을 다시 한번 강하게 촉발시켰습니다.