오픈AI 차세대 'o3' 모델 실행 비용, 문제당 3만 달러 육박 관측

인공지능의 뛰어난 추론 능력 뒤에는 상상을 초월하는 비용 청구서가 숨어 있었습니다.

지난해 12월 OpenAI가 추론 특화 모델 o3를 공개했을 당시, 고난도 지능 벤치마크인 ARC-AGI에서 높은 점수를 기록해 큰 주목을 받았습니다. 당시 시험을 주관한 단체는 최고 성능 설정인 o3 high가 문제 하나를 푸는 데 약 3,000달러의 연산 비용이 들 것으로 추정했습니다.

하지만 지난주 ARC-AGI를 운영하는 Arc Prize Foundation이 이 추정치를 대폭 수정했습니다. 단체가 다시 계산한 결과, o3 high가 작업 한 건을 해결하는 데 드는 비용은 당초 예상의 10배인 약 30,000달러에 달하는 것으로 나타났습니다.

한 문제에 1,024번의 시도를 쏟아붓는 구조

OpenAI는 아직 o3의 공식 가격을 발표하지 않았으며 모델을 정식 출시하지도 않았습니다. 이번에 나온 천문학적인 비용은 현재 OpenAI에서 가장 비싼 모델인 o1-pro의 요금을 기준으로 역산한 결과입니다.

Arc Prize Foundation의 공동 설립자 Mike Knoop은 o3가 추론 과정에서 소모하는 테스트 타임 연산량을 고려할 때 o1-pro를 기준으로 삼는 것이 실제 비용에 더 가깝다고 설명했습니다. 다만 공식 요금이 확정되기 전까지는 리더보드에 프리뷰 상태로 표기할 방침입니다.

연산 소모량의 격차는 극단적입니다. 테스트 결과에 따르면 o3 high는 동일한 과제를 해결하기 위해 최소 사양인 o3 low보다 무려 172배 많은 컴퓨팅 자원을 사용했습니다.

AI 연구원 Toby Ord는 X를 통해 모델의 효율성에 의문을 제기했습니다. o3 high가 해당 벤치마크에서 최고 점수를 내기 위해 과제당 최대 1,024회의 시도를 거쳐야 했다는 점을 짚었습니다. 직관적인 통찰이라기보다는 막대한 연산 자원을 동원한 무차별 대입에 가까웠던 셈입니다.

이는 3월 초 The Information이 보도한 내용과도 맥이 닿아 있습니다. 당시 보도에 따르면 OpenAI는 소프트웨어 개발 등 전문 AI 에이전트의 기업용 구독료로 월 최대 20,000달러를 책정하는 방안을 검토 중인 것으로 알려졌습니다.

왜 중요한가

우리는 이번 비용 수정이 고성능 추론 모델의 상용화 현실을 적나라하게 보여주는 사례라고 봅니다.

기업과 개발자 입장에서 문제 하나를 푸는 데 30,000달러가 드는 모델은 실제 업무 파이프라인에 도입할 수 없는 수준입니다. 뛰어난 개발자의 월급보다 저렴하다는 반론도 있지만, 인간 전문가는 같은 문제를 풀기 위해 1,024번이나 실패를 반복하지 않습니다. 지금의 o3 high는 실용적인 도구라기보다 막대한 자본을 들인 실험실 쇼케이스에 가깝습니다.

업계 전반으로 보면, 추론 단계에서 연산량을 늘려 성능을 끌어올리는 방식이 심각한 비용 한계에 부딪혔음을 시사합니다. 저사양 대비 172배의 연산 자원을 투입하고도 무차별 시도 횟수에 의존해야 한다면 투자 대비 수익을 맞추기 어렵습니다.

OpenAI가 AI의 상한선을 끌어올린 것은 분명하지만, 연산 자원을 무작정 갈아 넣는 방식은 경제적 지속 가능성이 떨어집니다. 향후 추론 모델 경쟁의 승패는 단순히 벤치마크 점수를 높이는 것이 아니라, 최소한의 시도와 비용으로 정답에 도달하는 효율성을 누가 먼저 확보하느냐에 달려 있을 것으로 보입니다.