OpenAI, GPT-4 Turbo 공개: 128K 지원 및 가격 최대 3분의 1 수준 인하

지난 1년간 거대언어모델로 서비스를 만들던 개발자들은 인프라 뒤치다꺼리에 대부분의 시간을 쏟아야 했습니다. 턱없이 부족한 컨텍스트 윈도우, 수시로 깨지는 JSON 출력, 문서 검색 기능을 넣기 위해 직접 벡터 데이터베이스를 구축하고 문서를 쪼개는 일까지 떠안아야 했습니다.

OpenAI는 첫 개발자 콘퍼런스인 DevDay에서 GPT-4 Turbo와 새로운 개발자 제품군을 공개하며 이러한 골칫거리들을 직접 정리하고 나섰습니다.

128K 컨텍스트와 대대적인 가격 인하

핵심은 프리뷰로 공개된 GPT-4 Turbo입니다. 학습 데이터 기준 시점을 2023년 4월로 넓혔으며, 컨텍스트 윈도우를 128K로 대폭 확장해 단일 프롬프트에 300페이지가 넘는 텍스트를 한 번에 넣을 수 있게 됐습니다.

가격 경쟁력도 크게 높아졌습니다. 기존 GPT-4 대비 입력 토큰 비용은 3분의 1 수준, 출력 토큰 비용은 절반으로 낮춰 대규모 호출을 감당해야 하는 기업들의 비용 부담을 덜었습니다.

실무 편의 기능도 대거 손봤습니다. 한 번의 요청으로 여러 작업을 동시에 처리할 수 있는 병렬 함수 호출이 지원되며, 문법 오류 없는 출력을 보장하는 JSON 모드와 디버깅 및 단위 테스트를 위한 시드 매개변수도 추가됐습니다.

함께 업데이트된 GPT-3.5 Turbo 역시 기본 16K 컨텍스트를 지원하며, 내부 평가 기준 JSON이나 XML 등 형식 준수 능력이 38퍼센트 개선됐습니다.

미들웨어를 대체하는 Assistants API

모델의 체급 향상보다 실질적인 파장을 낳는 대목은 Assistants API의 출시입니다.

기존에는 멀티턴 대화를 구현할 때 앱 개발사가 직접 대화 기록을 보관하고 토큰 제한에 맞춰 문맥을 잘라내야 했습니다. 하지만 새 API는 영구 스레드를 지원해 세션 상태 관리를 OpenAI 클라우드에 통째로 넘길 수 있도록 했습니다.

여기에 샌드박스에서 파이썬 코드를 실행하는 코드 인터프리터, 별도의 임베딩이나 청킹 알고리즘 구현 없이 도메인 지식을 붙일 수 있는 검색 기능, 함수 호출이 기본 도구로 결합됐습니다.

이와 함께 GPT-4 비전 API와 DALL·E 3 이미지 생성, 6가지 음성을 지원하는 텍스트 음성 변환 API까지 개발자 플랫폼에 합류했습니다.

왜 중요한가

우리는 이번 발표가 그동안 LLM 주변에 형성되었던 수많은 단순 래퍼 스타트업들에게 강력한 경고가 될 것이라고 봅니다.

문서를 잘게 쪼개 벡터 DB에 넣고 질의응답을 연결해 주거나 대화 세션을 관리해 주던 미들웨어 서비스들은, OpenAI가 자체 API에 해당 기능을 완제품 형태로 포함하면서 경쟁력을 잃기 쉬워졌습니다.

일반 개발자와 스타트업 입장에서는 지금 당장 도입해 볼 가치가 충분합니다. 대폭 낮아진 호출 비용과 128K 지원, 안정적인 JSON 출력 덕분에 프로토타입을 상용 서비스 수준으로 끌어올리는 기간을 몇 주에서 며칠로 단축할 수 있습니다.

다만 생태계 종속은 뚜렷한 위험 요소입니다. 대화 세션과 검색 로직 전체를 OpenAI 인프라에 완전히 맡길수록 개발은 빨라지겠지만, 향후 비용 절감이나 보안을 이유로 오픈소스 모델로 전환하려 할 때 치러야 할 마이그레이션 비용은 상상 이상으로 커질 수 있습니다.