오픈AI, 신규 임베딩 모델 출시 및 GPT-3.5 터보 50% 인하

최근 개발자들의 가장 큰 불만은 두 가지였습니다. GPT-4가 코드 생성을 대충 끝내버리는 이른바 '게으름' 문제, 그리고 RAG 검색 시스템을 운영할 때 눈덩이처럼 불어나는 벡터 데이터베이스 비용이었습니다.

OpenAI가 이 두 가지 문제를 동시에 겨냥한 대규모 API 업데이트를 내놓았습니다.

이번 발표의 핵심은 새로운 임베딩 모델인 text-embedding-3-small과 text-embedding-3-large입니다. 2022년 말 출시 이후 기본값처럼 쓰이던 기존 text-embedding-ada-002를 대체하는 모델입니다.

벡터 차원을 직접 줄이고, 가격은 5분의 1로

소형 모델인 3-small은 가격을 기존 대비 80% 인하해 1000 토큰당 0.00002달러로 낮췄습니다. 다국어 검색 벤치마크인 MIRACL 점수는 31.4%에서 44.0%로 대폭 올랐습니다.

대형 모델인 3-large는 최대 3072차원을 지원하며 MIRACL 점수 54.9%를 기록했습니다. 가격은 1000 토큰당 0.00013달러입니다.

가장 돋보이는 부분은 임베딩 차원을 유연하게 잘라낼 수 있는 기능입니다. 원래 임베딩 벡터가 클수록 벡터 DB의 메모리와 비용 부담이 커집니다.

이제 API에서 dimensions 매개변수를 지정하면 벡터 뒤쪽 숫자를 잘라내 차원을 줄일 수 있습니다. 3-large 모델을 256차원으로 대폭 줄여도 기존 1536차원의 ada-002보다 성능이 우수합니다. 벡터 저장소가 1024차원까지만 지원하더라도 고성능 모델을 그대로 활용할 수 있게 된 셈입니다.

GPT-4 '게으름' 완화와 GPT-3.5 가격 인하

주력 대형 언어 모델도 개선되었습니다.

새 프리뷰 모델인 gpt-4-0125-preview는 코드 작성 등에서 작업을 끝까지 마치지 않던 '게으름' 현상을 줄이도록 조정되었으며, 비영어권 UTF-8 생성 버그도 해결했습니다.

다음 주 출시되는 gpt-3.5-turbo-0125는 지난 1년간 세 번째 가격 인하를 단행합니다. 입력 가격은 50% 내린 0.0005달러, 출력 가격은 25% 내린 0.0015달러이며 비영어 함수 호출 버그도 수정했습니다.

관리 기능도 강화되어 API 키별로 읽기 전용 권한을 주거나 키 단위로 사용량을 추적할 수 있게 되었습니다.

왜 중요한가

사내 검색이나 RAG 시스템을 구축하는 실무자에게는 망설일 이유가 없는 업데이트입니다. 임베딩 호출 비용 자체가 크게 낮아졌을 뿐 아니라, 차원 축소를 통해 벡터 DB의 인프라 유지비까지 아낄 수 있으므로 기존 ada-002를 쓰고 있었다면 즉시 교체를 검토할 가치가 있습니다.

업계 관점에서도 OpenAI가 실무 엔지니어링의 병목을 정확히 파악하고 있음을 보여줍니다. GPT-3.5의 추가 가격 인하는 가성비를 내세우던 중소형 오픈소스 모델 진영에 큰 압박이 될 것입니다.

우리는 벡터 차원을 동적으로 줄일 수 있게 훈련한 접근 방식이 매우 영리하다고 봅니다. 인프라 용량 한계 때문에 모델 업그레이드를 주저하던 기업들의 장벽을 소프트웨어적으로 가볍게 허물어버렸기 때문입니다.