구글, '팔리젬마 2 믹스' 공개: 프롬프트 하나로 다양한 시각 작업 처리

팔리젬마 2 믹스(PaliGemma 2 mix)는 구글이 공개한 즉시 사용 가능한 오픈 비전-언어 모델(VLM) 체크포인트다. 별도의 파인튜닝 없이도 프롬프트만 입력하면 이미지 내 텍스트 인식(OCR), 상세 설명 생성, 객체 계수, 영역 분할까지 바로 수행한다.

구글은 2025년 2월 19일 팔리젬마 2 믹스 체크포인트를 정식 배포했다. 지난해 12월 공개된 기본 팔리젬마 2는 특정 다운스트림 작업 미세조정을 위한 사전 학습 모델이었지만, 이번 믹스 버전은 여러 학술 데이터셋을 혼합 튜닝해 일반적인 시각 작업을 설치 즉시 처리할 수 있도록 만들었다.

무엇을 할 수 있나

팔리젬마 2 믹스는 시각 인코더인 SigLIP과 언어 모델인 젬마 2(Gemma 2)를 결합한 구조다.

사진 속 안내판의 경고 문구를 읽어내는 OCR은 물론이고, 이미지 안에 사탕이 몇 개 있는지 세거나 거리 풍경 속 사람의 옷차림과 건물 형태를 상세한 문장으로 묘사하는 작업을 프롬프트 하나로 끝낸다. 이전 버전과 달리 엄격한 작업 접두사 없이 자연스러운 오픈엔드 프롬프트를 처리할 수 있으며, 이 편이 성능도 더 잘 나온다.

특정 접두사 형식을 지켜야 하는 작업은 객체 감지(detect)와 이미지 분할(segment) 두 가지뿐이다. 이마저도 단순한 단어 라벨을 넘어 '나뭇가지 위의 새'처럼 구체적인 표현을 프롬프트로 주면 정확히 대상을 찾아낸다. 기존 오리지널 팔리젬마 믹스 체크포인트를 사용해 개발 중이던 이용자는 추가 코드 수정 없이 체크포인트 파일만 교체하면 바로 성능을 끌어올릴 수 있다.

실행 방법과 사양

개발자가 가진 하드웨어 여건에 맞춰 크기와 해상도를 다양하게 골라 쓸 수 있다.

파라미터 크기는 3B, 10B, 28B 세 종류로 나뉘며, 입력 해상도는 224x224와 448x448 등을 지원한다. 메모리가 부족한 소형 환경에서는 3B 모델과 224 해상도 조합이 가볍게 돌리기 좋고, 미세한 글씨 판독이나 정밀한 시각 질의응답이 필요하다면 448 해상도의 10B 또는 28B 모델이 훨씬 안정적이다.

허깅페이스 트랜스포머(Hugging Face Transformers)와 JAX 프레임워크를 모두 지원하며, 케라스(Keras) 및 JAX용 공식 예제 노트북도 함께 제공된다. 로컬 환경에 받기 전 먼저 시험해보고 싶다면 허깅페이스 컬렉션에 등록된 데모 공간에서 이미지를 올려 테스트할 수 있다.

다만 구글은 믹스 체크포인트가 범용 테스트와 기본 작업을 위한 것임을 명확히 했다. 특정 전문 분야나 의료, 특수 산업 데이터처럼 고도의 정밀도가 요구되는 환경에서는 믹스 모델보다 순수 사전 학습(pt) 체크포인트를 가져와 자체 파인튜닝하는 것이 가장 좋은 결과를 낸다.

왜 중요한가

무거운 거대 멀티모달 모델을 API 비용 내며 쓰기 부담스러웠던 1인 개발자나 소규모 팀에게 이번 릴리스는 실질적인 대안이 된다. 3B 수준의 가벼운 모델로 즉시 OCR과 시각 분석 파이프라인을 구축할 수 있어 초기 데이터 라벨링과 학습 비용을 대폭 줄여준다.

구글이 만능 대화형 챗봇 형태 대신, 프롬프트 문법에 맞춰 정밀하게 시각 작업을 제어하는 모듈형 도구로 팔리젬마 생태계를 키우는 방향은 영리하다. 시각 기반 프로토타입을 빠르게 올려 검증해야 하는 프로젝트라면 지금 바로 가져다 쓸 만하다.