OpenAI, 고빈도 의사결정 특화 'Decisions API' 정식 출시

AI 에이전트를 구축해 본 개발자라면 단순한 분류 작업이나 예/아니오 판단 하나를 위해 거대 모델을 호출하고 수 초씩 대기해야 했던 답답함을 잘 알 것입니다. 원치도 않는 장황한 텍스트 토큰 비용까지 고스란히 지불하면서 말입니다.

OpenAI가 바로 이 병목을 해결하기 위해 나섰습니다. OpenAI는 GPT-6 Luna 기반의 Decisions API를 정식 출시했습니다. 정해진 범위의 답을 내리는 작은 결정에 특화된 엔드포인트로, 표준 Responses API를 통해 GPT-6 Luna를 호출할 때보다 최대 10배 빠르게 동작합니다.

출력 토큰 무료화와 극단적인 경량화

작동 방식은 매우 간결합니다. 개발자가 질문과 허용할 답변 목록을 정의하고 텍스트, 이미지, 또는 네이티브 JSON으로 맥락을 전달하기만 하면 됩니다.

반환되는 결과는 0과 1 사이의 조건 충족 확률, 사전 정의된 옵션 중 하나를 고르는 선택값, 루브릭 기준의 가중 평균 점수 등 세 가지뿐입니다. 요청당 처리 가능한 질문 수도 기존의 두 배인 최대 400개로 늘어났습니다.

가격 책정도 파격적입니다. 입력 토큰은 100만 개당 0.10달러이며 캐시 적중 시 0.01달러까지 떨어집니다. 가장 눈에 띄는 점은 출력 토큰 요금이 전혀 청구되지 않는다는 점입니다.

또한 실시간 음성 상호작용 기능인 GPT-Live와 네이티브로 연동되어, 대화 도중 아바타의 표정을 즉각 바꾸거나 고객센터 에이전트가 통화를 상위 담당자에게 넘길지 여부를 끊김 없이 결정할 수 있습니다. 미국과 유럽 내 추론 데이터 보존 지원과 아시아 지역 용량 증설도 함께 적용되었습니다.

왜 중요한가

우리는 Decisions API가 OpenAI의 최근 행보 중 가장 실용적이고 영리한 엔지니어링 결과물이라고 봅니다.

에이전트 워크플로가 느려지는 주된 이유는 깊은 추론 때문이 아니라, 입력값 분류나 라우팅 같은 수많은 자잘한 분기 처리 때문입니다. 프론티어급 지능을 갖춘 모델을 지연 시간 없이 일종의 마이크로 스위치로 쓸 수 있게 됨으로써 파이프라인의 완성도가 크게 올라갑니다.

출력 토큰 비용을 완전히 없앤 전략도 업계에 시사하는 바가 큽니다. 구조화된 단순 결정에까지 텍스트 생성 요금을 물리던 불합리를 없애, 개발자들이 오픈소스 소형 모델을 따로 띄워 관리할 필요성을 지워버렸습니다.

물론 애플리케이션의 핵심 분기 로직이 OpenAI 전용 API에 종속될 수 있다는 점은 경계해야 합니다. 하지만 지금 당장 에이전트의 응답 지연과 토큰 비용으로 골머리를 앓고 있는 팀이라면, 주요 분기 노드에 이 API를 도입해 볼 가치는 충분합니다.