앤트로픽, Claude 3 Haiku 출시: 초당 30페이지 처리·비용은 절반

최고 사양 모델의 지능도 중요하지만, 실제 비즈니스 현장에서 매일 부딪히는 문제는 응답 지연과 만만찮은 API 비용입니다.

Anthropic이 Claude 3 제품군 중 가장 빠르고 저렴한 소형 모델인 Claude 3 Haiku를 정식 출시했습니다. 기존의 Sonnet, Opus와 함께 Claude API와 claude.ai의 Pro 구독자에게 즉시 제공되며, Amazon Bedrock에서도 바로 사용할 수 있습니다.

1초에 30페이지 처리, 1달러에 판례 400건 분석

Haiku의 가장 큰 무기는 속도입니다. 32K 토큰 미만의 프롬프트 환경에서 초당 2만 1,000개 토큰을 처리하며, 이는 1초에 텍스트 30페이지를 읽어 치우는 속도입니다. Anthropic에 따르면 대다수 업무 환경에서 동급 경쟁 모델 대비 3배 빠른 처리 속도를 보입니다.

비용 구조 역시 대규모 기업 문서 처리에 최적화되었습니다. 입력과 출력 토큰 가격 비율을 1대 5로 설계하여 긴 배경 문서를 넣는 작업에서 동급 모델 대비 비용을 절반 수준으로 낮췄습니다. 1달러만 들이면 미 연방대법원 판례 400건을 분석하거나 이미지 2,500장을 처리할 수 있는 수준입니다.

여기에 최첨단 비전 기능과 함께 지속적인 시스템 모니터링, 단말 보안 강화, 침투 테스트 같은 엔터프라이즈급 보안 요건도 갖췄습니다. 향후 Google Cloud의 Vertex AI로도 서비스가 확대될 예정입니다.

왜 중요한가

우리는 Haiku가 Claude 3 제품군 전체의 실질적인 상업적 성공을 좌우할 핵심 모델이라고 봅니다.

벤치마크 1위를 차지한 Opus가 기술력을 증명했다면, Haiku는 매일 막대한 트래픽을 감당해야 하는 기업들이 실제로 결제할 만한 카드입니다. 실시간 챗봇, 대량의 문서 분류, 로그 정리, 단순 이미지 판독처럼 지연 시간에 민감하고 반복적인 작업에서는 지금 당장 도입해 볼 가치가 충분합니다.

업계 관점에서는 GPT-3.5 Turbo 등이 지켜오던 대량 트래픽 시장을 직접 겨냥하고 있습니다. 뛰어난 비전 기능까지 탑재한 채 가격을 대폭 낮췄기 때문에, 경량 모델을 채택하려던 스타트업과 기업들의 선택지가 크게 넓어졌습니다.

다만 경량 모델인 만큼 아주 복잡한 다단계 추론에서는 여전히 상위 모델에 의존해야 합니다. 일상적인 대용량 입력은 Haiku로 빠르게 쳐내고, 복잡한 문제만 상위 모델로 넘기는 라우팅 전략을 짜는 것이 비용과 효율을 모두 잡는 현실적인 방법이 될 것입니다.