OpenAI, API에 '함수 호출' 기능 추가…GPT-3.5 16k 출시 및 가격 인하

대규모 언어 모델을 소프트웨어와 연결하려던 개발자들은 그동안 지독한 파싱 오류와 싸워야 했습니다. 모델에게 JSON 형태로만 답해 달라고 아무리 프롬프트를 다듬어도, 모델이 "네, 요청하신 결과입니다:" 같은 문장을 덧붙이는 순간 시스템이 멈추기 일쑤였습니다.

OpenAI는 API 대규모 업데이트를 발표하며 gpt-4-0613 및 gpt-3.5-turbo-0613에 '함수 호출(Function calling)' 기능을 도입했습니다. 이와 함께 GPT-3.5의 16k 컨텍스트 지원, 대대적인 가격 인하, 기존 모델의 지원 종료 일정도 함께 공개되었습니다.

자연어를 정형화된 JSON 코드로 변환

함수 호출 기능은 개발자가 사용할 수 있는 함수의 형태를 JSON Schema로 모델에 전달하면, 모델이 대화 흐름을 파악해 함수 인자 값을 구조화된 JSON 데이터로 반환해 주는 기술입니다.

예를 들어 사용자가 "보스턴 날씨 어때?"라고 물으면, 모델은 일반 텍스트 대신 날씨 조회 함수에 필요한 매개변수를 JSON으로 출력합니다. 개발자는 이 값을 받아 실제 날씨 API를 호출한 뒤 결과를 다시 모델에 넘겨주기만 하면 됩니다.

이를 통해 외부 도구와 연동하는 챗봇 구축, 자연어를 SQL이나 내부 API 쿼리로 변환하는 작업, 긴 위키피디아 문서에서 인물 정보를 정형 데이터로 추출하는 작업이 훨씬 안정적으로 변했습니다.

다만 외부 도구 연동에 따른 보안 문제도 함께 제기되었습니다. 도구가 반환한 검증되지 않은 데이터가 모델을 조작해 원치 않는 행동을 유도할 위험이 있으므로, 이메일 발송이나 결제 같은 실제 작업에는 반드시 사용자 확인 단계를 두어야 한다고 OpenAI는 당부했습니다.

16k 컨텍스트 모델과 공격적인 가격 인하

이번 업데이트에서는 처리 용량도 대폭 늘어났습니다. 새롭게 추가된 gpt-3.5-turbo-16k는 기존 4k 모델 대비 4배 긴 컨텍스트를 지원하여, 단일 요청에서 약 20페이지 분량의 텍스트를 한 번에 처리할 수 있습니다.

API 사용료도 크게 낮아졌습니다. 가장 널리 쓰이는 임베딩 모델인 text-embedding-ada-002의 비용은 75% 인하되어 1K 토큰당 0.0001달러로 책정되었습니다. 기본 gpt-3.5-turbo의 입력 토큰 비용 역시 25% 인하되어 1달러로 약 700페이지 분량을 처리할 수 있게 되었습니다.

기존 gpt-3.5-turbo-0301 및 gpt-4-0314 버전을 사용하던 개발자들은 모델 파라미터를 고정하여 계속 사용할 수 있으며, 커뮤니티 피드백을 반영해 구형 모델의 지원 기한은 최소 2024년 6월 13일까지 연장되었습니다.

왜 중요한가

우리는 이번 함수 호출 기능 추가가 LLM이 단순한 대화형 도구를 넘어 실제 소프트웨어의 백엔드 엔진으로 자리 잡는 분기점이 되었다고 봅니다. 불안정한 텍스트 응답을 정규식으로 걸러내던 번거로운 작업이 모델 내부의 기본 기능으로 흡수되면서, 에이전트와 자동화 워크플로를 구축하는 개발 난이도가 비약적으로 낮아졌습니다.

업계 측면에서는 모델과 도구를 연결해 주던 서드파티 프레임워크들의 입지가 흔들릴 수 있습니다. 모델 자체가 안정적인 도구 선택과 파라미터 추출을 전담하게 되면서, 복잡한 보조 라이브러리의 필요성이 크게 줄어들었기 때문입니다.

또한 16k 컨텍스트 지원과 가격 인하는 고비용의 GPT-4를 쓰기 부담스러웠던 스타트업이나 개인 개발자들에게 긴 문서 요약이나 대화 기록 유지를 현실적인 비용으로 구현할 수 있게 해줍니다. 다만 도구 연동이 쉬워진 만큼 외부 입력 데이터에 의한 프롬프트 주입 공격 위험도 커졌으므로, 실제 서비스 배포 시 철저한 검증 절차를 마련해야 합니다.