구글, 젬마 2 기반 비전언어모델 '팔리젬마 2' 공개

PaliGemma 2는 구글이 선보인 오픈 비전-언어 모델(VLM)입니다. 뛰어난 성능의 Gemma 2를 기반으로 개발되어, 텍스트 모델에 시각적 입력 능력을 더해 이미지를 보고 이해하며 상호작용할 수 있도록 돕습니다.

특정 도메인의 이미지 데이터를 활용해 맞춤형 비전 AI를 구축하려는 개발자에게 최적화된 미세조정(파인튜닝) 베이스 모델입니다.

어떤 기능과 특징을 갖췄나

PaliGemma 2는 이미지와 텍스트가 결합된 입력을 직관적으로 처리합니다. 기본적인 시각적 질의응답부터 세부적인 이미지 분석까지 광범위한 비전 태스크를 수행할 수 있습니다.

기존 1세대 PaliGemma는 시각적 문서 검색에 활용된 ColPali, RoboFlow의 파인튜닝 기법, 실시간 객체 추적 등 다양한 커뮤니티 프로젝트를 낳았습니다. PaliGemma 2는 이러한 생태계의 가능성을 Gemma 2 아키텍처로 이어받아 성능을 한 단계 더 끌어올렸습니다.

개발 편의성 측면에서 가장 돋보이는 부분은 호환성입니다. 구글은 PaliGemma 2를 '드롭인 대체(drop-in replacement)'가 가능하도록 설계했습니다. 기존에 PaliGemma를 활용해 파이프라인을 구축해 두었다면, 대대적인 코드 수정 없이 모델만 교체하는 방식으로 대부분의 태스크에서 즉각적인 성능 개선을 체감할 수 있습니다.

또한 다양한 모델 크기와 해상도 옵션을 지원하여, 온프레미스 인프라 환경이나 지연 시간 요구 조건에 맞춰 유연하게 모델을 선택할 수 있습니다. 관련 세부 동작 원리와 매개변수 선택 기준은 함께 공개된 기술 보고서에서 확인할 수 있습니다.

왜 중요한가

우리는 PaliGemma 2가 초거대 클라우드 API 경쟁 대신, 로컬 환경과 맞춤형 특화 태스크라는 실용적인 지점을 정확히 공략했다고 봅니다.

사내 기밀 문서 처리나 실시간 공정 감시 등 데이터를 외부로 보낼 수 없는 환경에서는, 가볍고 직접 미세조정이 가능한 오픈소스 비전 모델이 필수적입니다. PaliGemma 2는 Gemma 2의 탄탄한 추론 성능을 제공하면서도 마이그레이션 비용을 최소화했습니다.

자체 이미지 데이터셋을 보유하고 있거나 현업에 즉시 투입 가능한 경량 비전 모델을 찾고 있는 팀이라면, 지금 바로 테스트해 볼 만합니다.