구글, 차세대 모델 제미나이 1.5 공개: 100만 토큰 처리 지원

Gemini 1.0 Ultra를 개발자들에게 공개한 지 불과 일주일 만에, Google이 예고도 없이 차세대 인공지능 모델 Gemini 1.5를 공개했습니다.

먼저 선보인 모델은 중간 체급의 Gemini 1.5 Pro입니다. 이번 발표에서 업계를 가장 놀라게 한 대목은 벤치마크 점수보다 최대 100만 토큰에 달하는 컨텍스트 창 용량이었습니다. 연구 환경에서는 1000만 토큰 테스트까지 성공적으로 마쳤습니다.

100만 토큰이 실제로 의미하는 것

100만 토큰은 영상 1시간 분량, 음성 11시간, 코드 3만 줄 이상, 혹은 70만 단어가 넘는 텍스트를 프롬프트 하나에 한 번에 집어넣을 수 있는 크기입니다.

Gemini 1.5는 전체 신경망을 다 돌리는 대신 필요한 전문가 네트워크만 골라 활성화하는 MoE 구조를 전면 도입했습니다. 이를 통해 학습과 추론 효율을 극대화했습니다.

체급을 낮춘 1.5 Pro는 기존 LLM 벤치마크의 87%에서 1.0 Pro를 앞질렀으며, 가장 거대한 모델이었던 1.0 Ultra와 대등한 성능을 보입니다.

아무리 많은 정보를 넣어도 모델이 내용을 놓치면 소용없습니다. 대규모 데이터 속에서 특정 문장을 찾아내는 바늘 찾기 평가에서 1.5 Pro는 100만 토큰 분량 내에서도 99%의 검색 성공률을 기록했습니다.

44분짜리 버스터 키튼 무성영화를 통째로 입력해도 주요 장면과 미세한 연출을 정확히 추론해 냈고, 402쪽에 달하는 아폴로 11호 달 착륙 교신 기록을 주고 복잡한 사건 흐름을 질의해도 오차 없이 답을 내놓았습니다.

미세조정 없는 인컨텍스트 학습

또 하나 주목할 부분은 입력창 안에서 새로운 지식을 즉시 습득하는 인컨텍스트 학습 능력입니다.

Google은 전 세계 화자가 200명 미만인 칼라망어 번역을 테스트했습니다. 인터넷상에 학습 데이터가 거의 없는 희귀 언어입니다.

칼라망어 문법책과 사전, 예문 자료를 프롬프트에 그대로 넣어주자, 1.5 Pro는 추가 파인튜닝 없이도 해당 교재로 공부한 인간과 비슷한 수준으로 영어와 칼라망어를 번역해 냈습니다.

현재 100만 토큰 컨텍스트 창은 AI Studio와 Vertex AI를 통해 일부 개발자 및 기업 고객을 대상으로 비공개 프리뷰가 진행 중입니다. 향후 정식 출시 시 기본 컨텍스트 창은 12만 8000 토큰으로 제공되며, 100만 토큰은 단계별 유료 옵션으로 확장될 계획입니다.

왜 중요한가

우리는 Gemini 1.5 Pro가 지금까지 이어져 온 생성형 AI 애플리케이션의 개발 공식을 완전히 흔들고 있다고 봅니다.

그동안 모델의 기억 용량이 부족해 개발자들은 문서를 잘게 쪼개고 벡터 데이터베이스에 넣는 RAG 파이프라인을 구축하느라 많은 노력을 들였습니다. 하지만 백만 토큰을 통째로 밀어 넣고 99% 확률로 정답을 찾아낼 수 있다면, 굳이 복잡한 검색 시스템을 설계할 이유가 크게 줄어듭니다.

개발자나 분석가 입장에서는 거대한 레거시 코드베이스나 분기별 보고서 수십 권, 오디오 원본을 그대로 집어넣고 작업할 수 있어 지금 당장이라도 테스트해 볼 가치가 충분합니다.

다만 명확한 한계도 존재합니다. 입력 데이터가 커질수록 답변이 나오기까지 걸리는 지연 시간이 길어질 수밖에 없으며, MoE 구조로 효율을 높였다고 해도 백만 토큰을 처리하는 API 비용은 만만치 않을 가능성이 높습니다.

그럼에도 불구하고 Google이 컨텍스트 길이 경쟁에서 초격차를 만들어내면서, 추격자 신세였던 판도를 단숨에 뒤흔들었다는 점은 분명해 보입니다.