OpenAI 기업용 API 강화: 50% 할인 Batch API 및 1만 건 파일 검색 지원

기업이 생성형 AI를 핵심 업무에 도입할 때 발목을 잡는 것은 모델의 지능 자체보다 보안 검증과 통제 불가능한 비용 청구서인 경우가 많습니다.

OpenAI는 이러한 엔터프라이즈 고객의 페인 포인트를 해결하기 위해 보안, 관리, 개발자 도구, 비용 최적화를 아우르는 신규 API 기능들을 대거 공개했습니다.

철저해진 보안과 세분화된 프로젝트 관리

엄격한 보안 기준을 요구하는 기업을 위해 Azure 환경과 OpenAI 간 통신을 공개 인터넷 노출 없이 직접 연결하는 Private Link가 도입되었습니다.

내부 계정 보안을 위한 자체 다중 인증(MFA)도 기본 지원되어 강화된 규제 요건을 충족하기 쉬워졌습니다.

조직 관리 측면에서는 'Projects' 기능이 신설되었습니다.

특정 프로젝트 단위로 권한과 API 키를 격리해 발급할 수 있고, 사용할 수 있는 모델을 제한하거나 호출 한도를 걸어 예상치 못한 예산 초과를 방지할 수 있습니다.

개인 임직원 계정에 종속되지 않는 '서비스 계정 API 키' 발급도 지원되어 안정적인 시스템 연동이 가능해졌습니다.

Assistants API 업그레이드와 50% 저렴한 배치 처리

Assistants API도 큰 폭으로 개선되었습니다. 가장 눈에 띄는 변화는 파일 검색(file_search) 기능으로, 어시스턴트당 읽어들일 수 있는 파일 수가 기존 20개에서 10,000개로 500배 늘어났습니다.

멀티스레드 병렬 검색과 리랭킹 기능이 강화되었으며, 문서를 자동으로 분할하고 임베딩해 주는 vector_store 객체가 추가되어 여러 어시스턴트에서 자원을 재사용할 수 있습니다.

실시간 대화형 응답을 위한 스트리밍 기능과 실행당 최대 토큰 수 제어 옵션이 추가되었고, 파인튜닝된 GPT-3.5 Turbo 모델 호출도 지원합니다.

비용 절감 카드도 강력합니다.

모델 평가, 오프라인 분류, 데이터 요약처럼 즉각적인 응답이 필요 없는 비동기 작업을 위한 Batch API가 도입되었습니다. 24시간 내에 결과가 반환되는 대신 요금이 표준 가격의 50%로 할인됩니다.

또한 GPT-4나 GPT-4 Turbo를 일정 수준 이상 대규모로 안정적으로 사용하는 기업은 프로비저닝된 처리량을 약정하여 10%에서 최대 50%까지 추가 할인을 받을 수 있습니다.

왜 중요한가

이번 발표는 OpenAI API가 '개발자용 실험실'을 넘어 본격적인 '기업용 기간 인프라'로 안착했음을 보여줍니다.

개발자와 기업 입장에서는 문서 한도가 1만 개로 풀리고 벡터 저장소가 통합되면서, 초기 RAG(검색 증강 생성) 시스템을 위해 복잡한 외부 벡터 데이터베이스를 따로 구축하고 관리하던 부담을 덜어낼 수 있게 되었습니다. 즉시성이 필요 없는 야간 데이터 처리나 배치 평가 작업을 돌리고 있다면, Batch API를 적용해 클라우드 비용을 즉시 절반으로 줄일 수 있습니다.

Private Link와 서비스 계정 지원은 엔터프라이즈 보안 감사에서 번번이 걸림돌이 되던 요소들을 정면으로 해소해 경쟁 모델 공급사들을 강하게 압박할 것으로 보입니다.

다만 문서 파싱과 벡터 저장까지 OpenAI 파이프라인에 완전히 의존하게 되면서, 향후 타사 모델로 서비스를 전환할 때 발생하는 마이그레이션 비용과 기술적 락인 위험은 더욱 커진 셈입니다.