OpenAI, API에 모델 증류 기능 출시…대형 모델로 소형 모델 훈련

현업에서 생성형 AI를 서비스에 도입할 때 가장 골치 아픈 문제는 비용과 성능 사이의 줄타기입니다. GPT-4o나 o1-preview 같은 최고 사양 모델을 쓰면 답변 품질은 뛰어나지만 호출 비용과 지연 시간을 감당하기 어렵고, 그렇다고 소형 모델을 쓰자니 특정 업무에서 성능 저하가 뚜렷하기 때문입니다.

업계에서 널리 쓰이는 해결책은 대형 모델의 출력을 소형 모델에 학습시키는 '모델 증류' 기법입니다. 하지만 지금까지 증류를 진행하려면 데이터 수집, 정제, 파인튜닝, 성능 평가 스크립트 작성까지 파편화된 도구들을 개발자가 일일이 수작업으로 엮어야 해 번거로움이 컸습니다.

OpenAI는 10월 1일, 이러한 증류 워크플로 전체를 API 플랫폼 안에서 원스톱으로 처리할 수 있는 신규 기능인 Model Distillation을 공개했습니다.

플래그 하나로 실서비스 데이터를 학습 데이터셋으로 전환

이번 업데이트의 핵심 중 하나는 Stored Completions 기능입니다. 개발자가 Chat Completions API를 호출할 때 store: true 파라미터를 설정하기만 하면, 요청과 응답 쌍이 백그라운드에 자동으로 저장됩니다. 별도의 응답 지연이 전혀 발생하지 않으며, 이 저장 기능 자체는 완전 무료로 제공됩니다.

이렇게 쌓인 실제 프로덕션 데이터는 관리 콘솔에서 검토하고 필터링하거나 태그를 달아 증류 및 평가를 위한 고품질 데이터셋으로 곧바로 가공할 수 있습니다.

이 데이터셋을 활용하면 GPT-4o나 o1-preview의 정교한 결과물을 바탕으로 GPT-4o mini 같은 경량 모델을 바로 파인튜닝할 수 있습니다. OpenAI는 개발자들의 진입 장벽을 낮추기 위해 10월 31일까지 GPT-4o mini는 하루 200만 토큰, GPT-4o는 하루 100만 토큰의 파인튜닝 학습량을 매일 무료로 제공합니다.

자체 평가 도구 Evals로 검증 과정까지 통합

파인튜닝은 한 번에 끝나지 않고 결과물을 보며 데이터와 파라미터를 지속적으로 다듬는 반복 작업입니다. 따라서 증류된 소형 모델이 기존 대형 모델의 성능에 얼마나 근접했는지 수치로 측정하는 과정이 필수적입니다.

OpenAI는 이를 위해 베타 버전의 Evals 도구를 함께 선보였습니다. 개발자가 별도의 로깅 툴이나 평가 스크립트를 짜지 않아도, 저장된 데이터나 직접 업로드한 데이터셋을 바탕으로 플랫폼 안에서 즉시 모델 성능을 벤치마크할 수 있습니다.

Evals는 기본적으로 모델 호출에 쓰인 토큰 기준으로 과금됩니다. 다만 향후 모델 개선을 위해 평가 데이터를 OpenAI와 공유하는 옵션에 동의할 경우, 올해 말까지 매주 최대 7회까지 Evals를 무료로 실행할 수 있는 혜택을 줍니다.

왜 중요한가

우리는 OpenAI의 이번 조치가 개발자들의 실질적인 비용 부담을 덜어주는 동시에, 고객을 자사 생태계에 묶어두는 락인 효과를 노린 매우 영리한 전략이라고 봅니다.

개발자와 스타트업 입장에서는 지금 당장 시도해볼 가치가 충분합니다. 별도의 데이터 엔지니어링 파이프라인을 구축할 여력이 없는 작은 팀이라도, 실서비스에서는 GPT-4o를 쓰면서 데이터를 모으고 이를 GPT-4o mini로 증류해 추론 비용을 수직 낙하시키는 구조를 손쉽게 만들 수 있습니다. 10월 말까지 제공되는 일일 무료 토큰 덕분에 PoC 비용 부담도 거의 없습니다.

하지만 편의성 뒤에 숨은 종속성은 경계해야 합니다. 데이터 저장부터 튜닝, 평가까지 OpenAI 플랫폼에 전적으로 의존하게 되면, 추후 오픈소스 모델이나 다른 경쟁 플랫폼으로 워크로드를 이전하기가 매우 까다로워집니다.

더불어 주 7회 무료 평가를 대가로 실제 비즈니스 평가 데이터를 OpenAI에 넘겨주는 구조 역시 신중히 검토할 필요가 있습니다. 기업의 고유한 평가 기준과 엣지 케이스 데이터가 차세대 대형 모델 학습에 흡수될 수 있으므로, 보안과 데이터 공유 범위를 명확히 구분해 활용해야 합니다.