구글, 제미나이 3 플래시에 '에이전틱 비전' 도입: 파이썬 코드로 이미지 확대·검증

복잡한 건축 도면이나 회로 기판 이미지를 인공지능에게 주고 구석에 적힌 일련번호를 찾아보라고 하면, 기존 모델들은 대부분 그럴듯한 거짓말을 지어내곤 했습니다. 기존 비전 모델들은 이미지를 단 한 번 전체적으로 훑어보는 방식으로 처리하기 때문에, 해상도가 뭉개진 세부 정보는 찍어 맞출 수밖에 없었기 때문입니다.

구글이 1월 27일, 제미나이 3 플래시(Gemini 3 Flash)에 에이전틱 비전(Agentic Vision) 기능을 도입했습니다. 이미지를 한 번 슬쩍 보고 끝내는 대신, 인공지능에게 돋보기와 연습장을 쥐여주고 단서를 적극적으로 추적하게 만드는 기술입니다.

코드를 짜서 이미지를 자르고 확인한다

에이전틱 비전의 핵심은 이미지 인식을 생각, 행동, 관찰이라는 에이전트 루프로 바꾼 데 있습니다.

사용자의 요청을 받은 제미나이 3 플래시는 먼저 다단계 조사 계획을 세웁니다. 그런 다음 백그라운드에서 직접 파이썬 코드를 작성하고 실행해 이미지를 특정 영역만 잘라내거나 회전시키고, 직접 표기를 남깁니다.

이렇게 확대·가공된 새 이미지는 모델의 컨텍스트 창에 다시 추가됩니다. 모델이 자기가 직접 확대한 선명한 패치를 다시 관찰하고 시각적 증거를 확인한 뒤 최종 답변을 내놓는 구조입니다. 구글에 따르면 코드 실행 옵션을 켜는 것만으로도 대부분의 비전 벤치마크 점수가 5%에서 10%가량 꾸준히 올랐습니다.

이 기능은 일종의 시각적 연습장 역할도 합니다. 손가락 개수를 세는 작업에서는 모델이 파이썬 코드로 손가락마다 사각 박스와 번호를 그려 넣어가며 실수를 줄입니다. 건축 도면 검증 플랫폼인 PlanCheckSolver는 제미나이 3 플래시가 도면의 특정 지붕 모서리를 잘라 반복 점검하도록 만들어 규정 준수 검증 정확도를 5% 높였습니다.

아직은 손길이 조금 필요한 단계

물론 아직 완벽하게 모든 것이 알아서 돌아가는 것은 아닙니다.

현재 제미나이 3 플래시는 아주 작은 세부 정보를 찾아야 할 때 스스로 확대 여부를 판단할 수 있습니다. 하지만 이미지를 회전시키거나 표 데이터를 코드로 시각화하는 등의 동작은 아직 프롬프트로 명시적인 지시를 내려줘야 안정적으로 작동합니다.

현재 이 기능은 가벼운 모델인 제미나이 3 플래시에 우선 적용되었습니다. 개발자는 구글 AI 스튜디오나 버텍스 AI에서 코드 실행 도구를 켜서 바로 테스트할 수 있으며, 일반 사용자는 제미나이 앱의 싱킹(Thinking) 모드를 통해 순차적으로 접할 수 있습니다. 구글은 향후 역이미지 검색 등 외부 도구를 추가하고 더 큰 모델로도 이를 확장할 계획입니다.

왜 중요한가

우리는 구글이 멀티모달 인공지능 분야에서 매우 영리하고 비용 효율적인 해법을 찾아냈다고 평가합니다.

그동안 업계는 이미지의 미세한 정보를 파악하기 위해 비전 인코더의 파라미터를 무작정 키우거나 수천만 화소 이미지를 그대로 밀어 넣는 무식한 방식을 써왔습니다. 반면 구글은 모델이 잘 안 보이면 파이썬 코드로 이미지를 자르고, 계산이 헷갈리면 코드를 짜서 도표를 그리게 만드는 결정론적 도구 활용 방식을 택했습니다. 값비싼 모델 크기를 늘리지 않고도 환각을 대폭 줄인 셈입니다.

개발자와 기업 입장에서는 정밀도가 생명인 도면 검토, 부품 불량 검사, 복잡한 세금계산서 판독 등 과거에는 오차율 때문에 쓰지 못했던 영역에 소형 모델을 투입할 수 있게 되었습니다. 모델이 어떤 경로로 이미지를 확인했는지 시각적 로그가 명확히 남는다는 점도 강력한 무기입니다.

경쟁사인 오픈AI나 앤트로픽 역시 경량 모델에 이 같은 도구 기반 비전 루프를 빠르게 도입해야 하는 압박을 받게 될 것입니다. 코드 실행과 이미지 재입력 과정에서 발생하는 지연 시간은 감수해야 할 숙제지만, 정확성이 속도보다 훨씬 중요한 전문 작업에서는 감수할 가치가 충분한 변화입니다.