구글, 제미나이 2.5 플래시 프리뷰 출시: 추론 예산 자유 조절

추론형 AI 모델의 최대 골칫거리는 비용과 지연 시간이었습니다. 간단한 질문에도 모델이 혼자 긴 시간 생각을 거치며 불필요하게 토큰 요금을 발생시키는 경우가 많았기 때문입니다.

Google은 4월 17일 Google AI Studio와 Vertex AI를 통해 Gemini 2.5 Flash의 프리뷰 버전을 공개했습니다. 모델의 사고 과정을 켜고 끌 수 있는 최초의 완전 하이브리드 추론 모델로 소개되었습니다.

생각하는 시간도 예산을 짤 수 있다

Gemini 2.5 Flash의 가장 두드러진 변화는 사고 예산(thinking budget) 설정 기능입니다. 개발자는 API 파라미터나 대시보드 슬라이더를 통해 사고 단계에서 생성할 최대 토큰 수를 0부터 24,576토큰 사이에서 직접 지정할 수 있습니다.

단순 번역이나 정보 조회처럼 깊은 추론이 필요 없다면 예산을 0으로 설정하면 됩니다. 이 경우 2.0 Flash 수준의 빠른 응답 속도를 유지하면서 기본 성능 개선 혜택을 챙길 수 있습니다.

지정된 수치는 강제 사용량이 아니라 상한선 역할만 합니다. 모델 자체가 프롬프트의 복잡도를 판단하도록 훈련되어 있어, 캐나다 주 개수를 묻는 가벼운 질문에는 토큰을 낭비하지 않고 즉각 답합니다. 반면 복잡한 일정 조율이나 보의 휨 응력 계산 같은 다단계 문제는 설정된 예산 한도 내에서 충분히 생각을 거친 뒤 답을 냅니다.

소형 모델의 체급을 뛰어넘은 벤치마크

경량 및 비용 효율을 내세운 Flash 모델임에도 성능 지표는 상위 모델을 위협합니다. 보도에 따르면 추론 및 STEM 벤치마크에서 o4-mini에 필적하고 Claude 3.5 Sonnet을 앞서는 결과를 보였습니다.

LMArena의 Hard Prompts 순위에서도 상위 모델인 2.5 Pro 바로 뒤를 잇는 성능을 기록했습니다. 현재 gemini-2.5-flash-preview-04-17 버전으로 API 프리뷰가 제공되며, 일반 Gemini 앱의 드롭다운 메뉴에서도 실험적으로 사용해 볼 수 있습니다.

왜 중요한가

추론 기능을 켜고 끄는 단순 스위치를 넘어 세밀하게 조절 가능한 다이얼로 풀어낸 점은 실무적으로 영리한 접근으로 보입니다.

개발자 입장에서 고비용 추론 모델을 대규모 서비스에 도입하기란 늘 부담이었습니다. 이제는 단일 모델을 사용하면서도 실시간성이 중요한 엔드포인트에는 예산을 0으로, 정밀 분석이 필요한 곳에는 예산을 넉넉히 주는 식의 유연한 파이프라인 설계가 가능해집니다.

업계 전반으로 봐도 최고 성능 경쟁 일변도에서 벗어나 단위 토큰당 추론 가성비 경쟁으로 초점이 이동하고 있음을 보여줍니다. 다만 모델이 자체 판단으로 생각하는 길이를 유동적으로 조절하는 만큼, 응답 시간의 편차가 발생할 수 있다는 점은 여전히 실 서비스 적용 시 면밀히 점검해야 할 대목입니다.