구글, 제미나이에 '에이전틱 비디오 이해' 도입... 토큰 88%·비용 66% 절감

AI로 긴 영상을 분석해 본 사람이라면 누구나 비슷한 고민을 해봤을 겁니다. 정확도를 위해 초당 1프레임씩 꼬박꼬박 집어넣으면 토큰과 비용이 감당하기 힘들 정도로 폭증하고, 돈을 아끼려고 프레임 간격을 벌리면 결정적인 순간을 통째로 놓쳐버리기 일쑤였습니다.

Google이 9월 1일 자사 모델인 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite에 에이전틱 비디오 이해 기능을 정식 출시했습니다. 영상을 처음부터 끝까지 무식하게 밀어 넣는 대신, 모델이 스스로 필요한 부분을 찾아가며 보도록 방식을 바꾼 것입니다.

AI가 직접 리모컨을 쥐고 영상을 탐색한다

기존의 영상 처리 방식은 고정 프레임 레이트 기반의 정적 처리였습니다. 기본값인 초당 1프레임 수준으로 영상을 쪼개 모델에 일괄 입력하다 보니, 변화가 거의 없는 구간에서도 똑같이 막대한 토큰이 소모되는 문제가 있었습니다.

이번에 적용된 에이전틱 방식은 Gemini가 사용자의 질문을 확인한 뒤 목표 지향적으로 행동합니다. 영상 프레임, 오디오, 텍스트 자막 중 어떤 신호를 먼저 볼지 결정하고 필요한 순간만 골라서 불러옵니다.

특정 구간에 중요한 단서가 있다고 판단되면 내부 도구를 호출해 해당 구간만 더 높은 프레임 레이트로 다시 샘플링합니다. 덕분에 1초 미만의 찰나에 일어난 상태 변화를 찾아내거나 급격한 움직임 속 이상 현상을 정확하게 잡아낼 수 있습니다.

Google의 벤치마크 결과에 따르면, 이 방식을 적용했을 때 토큰 소비량은 최대 88% 줄었고 분석 비용은 최대 66% 감소했습니다. 그러면서도 정확도는 최대 7% 올랐으며, 세 모델 중 Gemini 3.7 Flash가 비용 대비 정확도 측면에서 가장 앞선 파레토 프런티어를 기록했습니다.

설정 하나로 활성화, YouTube에도 직접 탑재 예정

해당 기능은 Google AI Studio의 Gemini API와 Gemini Enterprise Agent Platform을 통해 바로 사용할 수 있습니다. 직접 영상을 업로드하거나 YouTube 링크를 전달하는 방식 모두 지원합니다.

개발자가 프레임 추출 파이프라인을 복잡하게 짤 필요 없이, API 호출 시 processing 옵션을 agentic으로 지정하기만 하면 작동합니다. 별도의 기능 추가 요금은 없으며 표준 Gemini 토큰 단가로만 청구됩니다.

Google은 일반 사용자를 위한 Gemini 앱에도 이 기능을 조만간 배포하고, 앞으로 몇 달 안에 YouTube 영상 재생 페이지의 Ask YouTube 기능에도 적용할 계획이라고 밝혔습니다.

왜 중요한가

우리는 Google이 Agent 아키텍처를 활용해 멀티모달 AI의 가장 고질적인 비용 장벽을 영리하게 허물었다고 봅니다.

수십 분짜리 강의나 몇 시간 분량의 녹화본을 분석하는 작업은 토큰 비용 때문에 기업들이 실서비스 도입을 주저하던 대표적인 영역이었습니다. 분석 비용이 최대 3분의 1 수준으로 줄어든다면, 경제성 문제로 사장되었던 장문 영상 검색이나 콘텐츠 자동 편집 도구들이 빠르게 상용화 궤도에 오를 수 있습니다.

또한 개발 생태계 관점에서도 의미가 큽니다. 그동안 개발자들은 토큰을 아끼기 위해 OpenCV나 별도 스크립트를 써서 키프레임을 직접 추출하는 전처리 파이프라인을 구축해 왔습니다. Google이 이 탐색 과정을 모델 내부 루프로 통합하면서 외부 전처리 도구의 필요성을 상당 부분 흡수해 버렸습니다.

다만 한계도 짚어봐야 합니다. 모델의 자율적 탐색에 의존하는 구조인 만큼, 초기 자막이나 저화질 스캔 단계에서 단서를 포착하지 못하면 정밀 재샘플링 단계 자체가 실행되지 않을 수 있습니다. 미세한 이상 징후를 무조건 잡아내야 하는 보안이나 품질 검사 같은 민감한 작업에서는 기존의 전수 조사 방식과 비교 테스트를 거쳐 신중하게 도입할 필요가 있습니다.