로이터 "OpenAI, 대화 기억 API로 개발자 비용 최대 20배 절감 추진"

지금 AI 소프트웨어를 만드는 개발자들에게 가장 큰 골칫거리는 모델의 지능이 아니라 눈덩이처럼 불어나는 API 청구서입니다.

현재 구조에서는 대화 맥락을 유지하기 위해 매번 이전 대화 기록을 통째로 다시 전송해야 합니다. GPT-4로 한 페이지 분량의 문서를 처리하는 데만 10센트가량 소요될 수 있어, 스타트업 입장에서는 감당하기 어려운 비용이 쌓이곤 했습니다.

로이터에 따르면 OpenAI는 오는 11월 6일 샌프란시스코에서 열리는 첫 개발자 콘퍼런스에서 이를 해결할 대규모 업데이트를 발표할 계획입니다. 모델 사용 비용을 획기적으로 낮추고 속도를 끌어올려 더 많은 기업 고객을 끌어들이겠다는 구상입니다.

대화 기억 기능 도입으로 비용 최대 20분의 1 절감

이번 개편의 핵심은 개발자 도구에 메모리 저장 기능을 추가하는 스테이트풀(Stateful) API입니다.

지금까지는 시스템이 이전 대화를 기억하지 못해 매 호출마다 맥락을 전달해야 했지만, 새 도구가 적용되면 대화 기록을 자체 기억합니다. 소식통들은 이를 통해 개발사가 부담해야 하는 비용이 이론상 최대 20분의 1까지 줄어들 수 있다고 전했습니다.

이와 함께 이미지를 분석하고 설명할 수 있는 비전 API도 개발자용으로 출시됩니다.

일반 ChatGPT 사용자에게 멀티모달 기능이 열린 지 불과 몇 주 만에 서드파티 개발자에게도 개방되는 것으로, 의료 진단이나 엔터테인먼트 등 다양한 분야에서 응용 프로그램을 만들 수 있게 됩니다.

시들해진 플러그인과 오픈소스 모델의 추격

OpenAI가 이처럼 개발자 달래기에 나선 데는 사업 다각화에 대한 위기감이 자리 잡고 있습니다.

OpenAI 경영진은 올해 매출 2억 달러, 2024년 10억 달러 달성을 기대하고 있습니다. 하지만 샘 올트먼 CEO의 바람과 달리, 기업 고객을 묶어두는 플랫폼 구축은 소비자용 ChatGPT의 대성공에 비해 순탄치 않았습니다.

올해 초 애플 앱스토어를 표방하며 출시했던 ChatGPT 플러그인은 초기 반짝 관심 이후 이용자가 급감했습니다. 인기 순위 30위권 안에 드는 Scholar AI 플러그인조차 최근 일일 활성 이용자가 약 7000명에 불과한 수준입니다.

피치북에 따르면 올해 AI 스타트업에 200억 달러 이상이 몰렸지만, 투자자들은 특정 기업 종속을 우려하고 있습니다. 이에 따라 많은 개발사가 메타의 오픈소스 모델 라마(Llama) 등으로 시선을 돌리며 대안을 찾기 시작했습니다.

왜 중요한가

개발자들에게 최대 20배의 비용 절감은 비즈니스의 존폐를 가르는 요소입니다. 그동안 비용 장벽 때문에 구현하기 어려웠던 장기 대화형 챗봇이나 지속적인 문서 분석 도구를 이제 흑자 구조로 설계해 볼 만한 여건이 마련됩니다.

업계 전반으로 보면 OpenAI가 오픈소스 진영의 확산을 차단하기 위해 승부수를 띄운 모양새입니다. 저렴하고 자유로운 라마 계열 모델로 이탈하려던 기업들을 잡기 위해 가격 장벽을 허물어버리는 것이며, 이는 구글 등 경쟁사에도 즉각적인 가격 인하 압박으로 작용할 전망입니다.

우리는 OpenAI가 겉치레에 가까웠던 플러그인 장터를 고집하지 않고 핵심 인프라 효율화로 방향을 튼 것은 매우 영리한 선택이라고 봅니다. 다만 위험 요소도 뚜렷합니다. 메모리 저장과 비전 기능을 플랫폼이 직접 흡수해 버리면, 바로 그 영역에서 솔루션을 팔던 수많은 파트너 스타트업들의 입지가 단숨에 사라질 수 있다는 점입니다.