구글, 제미나이 1.5 프로 200만 토큰 창 전면 개방…코드 실행 지원

수 시간 분량의 영상이나 거대한 소프트웨어 코드베이스 전체를 대형 언어 모델에 넣으려고 하면, 지금까지는 용량 한계에 부딪히거나 연산 도중 엉뚱한 답을 내놓기 일쑤였습니다.

Google은 6월 27일, Gemini 1.5 Pro의 200만 토큰 컨텍스트 창을 모든 개발자에게 전면 개방한다고 밝혔습니다. Google I/O에서 대기자 명단 형태로 처음 공개했던 기능을 이제 Gemini API와 Google AI Studio에서 누구나 제한 없이 쓸 수 있게 되었습니다.

컨텍스트 캐싱과 네이티브 코드 실행의 결합

200만 토큰을 통째로 밀어 넣을 수 있게 된 것은 반갑지만, 호출할 때마다 매번 막대한 비용이 발생한다면 실제 서비스에 적용하기 어렵습니다.

Google은 이를 해결하기 위해 Gemini 1.5 Pro와 1.5 Flash 모두에 컨텍스트 캐싱 기능을 도입했습니다. 여러 프롬프트에 걸쳐 동일하게 반복되는 데이터를 캐시에 올려둠으로써 입력 비용을 크게 절감할 수 있습니다.

모델의 고질적인 약점인 수학 연산과 데이터 추론 능력도 보완했습니다. 1.5 Pro와 1.5 Flash에 자체 코드 실행 기능을 탑재했습니다.

이 기능을 켜면 모델이 스스로 Python 코드를 작성해 샌드박스에서 실행한 뒤, 그 결과를 확인하고 원하는 최종 답이 나올 때까지 코드를 수정하며 추론을 이어갑니다. 샌드박스는 보안을 위해 외부 인터넷 연결이 차단되어 있고 수치 계산 라이브러리가 기본 탑재되어 있으며, 실행 시간이 아니라 생성된 출력 토큰 기준으로만 요금이 청구됩니다.

여기에 더해 오픈 모델인 Gemma 2를 Google AI Studio에서 즉시 테스트할 수 있도록 지원하며, Gemini 1.5 Flash의 텍스트 파인튜닝 기능도 레드팀 검증을 거쳐 7월 중순까지 전체 개발자에게 개방할 예정입니다.

왜 중요한가

우리는 Google이 단순히 200만 토큰이라는 숫자를 자랑하는 데 그치지 않고, 캐싱과 코드 실행을 엮어 실무에 바로 쓸 수 있는 환경을 만들었다는 점을 높게 평가합니다.

아무리 컨텍스트 창이 커도 비용이 비싸면 실험용 장난감에 불과합니다. 컨텍스트 캐싱이 들어가면서 방대한 소스코드나 회의 녹취록을 상시 참조하는 기업용 워크플로가 비로소 가격 경쟁력을 갖추게 되었습니다.

코드 실행을 외부 툴 호출이 아닌 모델 내부 루프로 내재화한 점도 영리합니다. 개발자가 직접 샌드박스를 구축하고 에러를 모델에 되먹이는 파이프라인을 짤 필요가 없어진 데다, 실행 시간이 아닌 토큰 단위 과금을 유지해 비용 부담도 낮췄습니다.

경쟁사들과 비교하면 초장문 처리와 정밀 추론 영역에서 Gemini의 입지가 한층 더 단단해진 모습입니다. 다만 샌드박스가 인터넷과 단절되어 있고 지원하는 라이브러리가 제한적인 만큼, 복잡한 실시간 데이터 파이프라인에서는 여전히 자체 인프라가 병행되어야 한다는 한계는 남아 있습니다.