OpenAI, 최대 64K 토큰 출력 지원 'GPT-4o' 실험 모델 공개

AI에게 전체 프로젝트 코드 작성을 맡기거나 심층 연구 보고서를 쓰게 했다가, 문장 중간에 생성이 뚝 끊겨 '계속해 줘'를 쳐야 했던 경험은 누구나 한 번쯤 겪어봤을 문제입니다.

OpenAI가 요청 한 번에 최대 64K(64,000) 토큰까지 출력할 수 있는 실험적 모델인 'GPT-4o Long Output'을 조용히 공개했습니다.

해당 모델은 현재 OpenAI의 알파 프로그램에 참여 중인 개발자들을 대상으로 제공되며, 'gpt-4o-64k-output-alpha'라는 모델명을 통해 호출할 수 있습니다.

출력 길이는 대폭 늘었지만, 단가는 상승

한 번에 수만 토큰을 뽑아낼 수 있게 된 대신 이용 요금은 일반 모델 대비 크게 뛰었습니다.

OpenAI 측은 장문 생성 과정이 추론 관점에서 훨씬 많은 연산 비용을 소모하기 때문에, 이를 감당하기 위해 토큰당 가격을 인상했다고 밝혔습니다.

구체적인 요금은 입력 토큰 100만 개당 6.00달러, 출력 토큰 100만 개당 18.00달러로 책정되었습니다.

한편, 마이크로소프트 역시 같은 시기 Azure 환경에서 비전 입력을 지원하는 GPT-4o mini API를 글로벌 및 미국 동부 리전에 출시했다고 발표하며 멀티모달 처리 생태계를 넓히고 있습니다.

왜 중요한가

우리는 이번 조치가 그동안 거대 언어 모델 환경에서 고질적으로 지적되어 온 입력과 출력 사이의 불균형을 해소하려는 중요한 시도라고 봅니다.

최근 모델들은 수십만 토큰에 달하는 방대한 문맥을 입력받을 수 있었지만, 단일 호출의 출력 한도는 여전히 4K 수준에 묶여 있는 경우가 대부분이었습니다. 이로 인해 긴 코드베이스나 분량이 방대한 보고서를 만들려면 개발자가 직접 프롬프트를 쪼개고 결과를 이어 붙이는 복잡한 파이프라인을 구축해야 했습니다.

단일 호출로 64K 출력이 가능해지면 이러한 오케스트레이션 부담이 크게 줄어듭니다.

다만 명확한 한계도 존재합니다. 100만 출력 토큰당 18달러라는 비용은 64K를 꽉 채워 생성할 경우 한 번의 호출에 1달러 이상의 비용이 든다는 뜻이어서, 예산에 민감한 개인 개발자나 스타트업에게는 적지 않은 부담입니다. 또한 수만 토큰을 생성하는 데 걸리는 지연 시간과 네트워크 연결 안정성을 관리하는 엔지니어링 과제도 뒤따를 것으로 보입니다.