구글·소스그래프 실측: 제미나이 100만 컨텍스트로 코디 환각률 절반 감축

수십만 줄에 달하는 대규모 코드베이스를 다루다 보면, 코드 조각 몇 개만 전달받은 AI가 전혀 엉뚱한 라이브러리를 지어내며 거짓말을 하는 상황을 자주 겪게 됩니다.

Google은 코딩 어시스턴트 Cody를 개발한 Sourcegraph와 협력하여, Gemini 1.5 Flash의 100만 토큰 컨텍스트 창을 실제 거대 코드베이스 분석에 적용한 실험 결과를 발표했습니다.

환각률은 절반으로 줄었지만, 속도가 걸림돌

Sourcegraph는 복잡한 의존성 파악이 필요한 고난도 기술 질문 세트를 사용해, 100만 토큰을 적용한 버전과 기존 프로덕션 버전의 성능을 정면으로 비교했습니다.

그 결과 핵심 정보 재현율, 핵심 간결성, 유용성 등 주요 3대 벤치마크 전반에서 유의미한 성능 향상이 확인되었습니다.

가장 눈에 띄는 변화는 환각률의 감소입니다. AI가 잘못된 사실이나 존재하지 않는 코드를 지어내는 비율이 기존 18.97%에서 10.48%로 크게 줄어들며 답변의 신뢰도가 대폭 개선되었습니다.

하지만 대가가 따랐습니다. 입력 컨텍스트 길이가 늘어날수록 첫 토큰이 나오기까지 걸리는 지연 시간이 선형적으로 증가하여, 1MB 컨텍스트 기준 초기 테스트에서는 첫 응답을 받기까지 30초에서 40초나 기다려야 했습니다.

Sourcegraph는 이 병목을 해결하기 위해 모델 실행 상태 캐싱을 활용한 계층형 컨텍스트 모델 아키텍처와 프리페칭 메커니즘을 구축했습니다. 이를 통해 Gemini 1.5 Flash 및 Pro 기반 환경에서 첫 토큰 생성 시간을 약 5초 수준으로 단축했습니다.

왜 중요한가

그동안 개발 도구들은 필요한 코드 조각만 검색해 프롬프트에 끼워 넣는 RAG 방식에 전적으로 의존해 왔습니다. 하지만 복잡한 엔터프라이즈 프로젝트에서는 검색기가 놓친 파일 하나 때문에 AI 전체가 엉뚱한 결론을 내리기 일쑤였습니다.

이번 결과는 대규모 컨텍스트를 통째로 밀어 넣는 방식이 코드 이해력 향상과 환각 억제에 실질적으로 유효함을 수치로 입증했습니다. 특히 복잡한 레거시 코드를 분석해야 하는 기업 개발팀에게 환각률 10%대 진입은 매우 실질적인 가치를 지닙니다.

다만 일상적인 개발 작업 흐름에 바로 녹아들기에는 여전히 한계가 있어 보입니다. 40초를 5초로 줄인 것은 인상적인 엔지니어링 성과이지만, 실시간 코딩 도중 5초 동안 멈춰 서서 응답을 기다리는 경험은 여전히 흐름을 끊을 수 있습니다.

또한 100만 토큰 호출에 따르는 비용과 캐시 인프라 유지 부담을 고려할 때, 당장은 모든 코드 작성에 쓰이기보다 심층적인 아키텍처 분석이나 까다로운 버그 추적용 도구로 제한되어 쓰일 가능성이 높아 보입니다.