마이크로소프트, 다중 시각 작업 통합한 초경량 모델 'Florence-2' 오픈소스 공개

Florence-2는 단 하나의 모델로 거의 모든 컴퓨터 비전 작업을 처리할 수 있도록 마이크로소프트가 오픈소스로 공개한 경량 비전 파운데이션 모델이다.

그동안 이미지 캡셔닝, 객체 감지, 세그멘테이션을 구현하려면 각 작업에 특화된 별개의 모델을 파이프라인으로 엮어야 했다. Florence-2는 이 모든 기능을 대형 언어 모델처럼 텍스트 프롬프트 기반의 단일 인터페이스로 통합하여, 이미지와 지시문을 입력하면 원하는 분석 결과를 텍스트와 좌표 형태로 즉시 출력한다.

무엇을 할 수 있고, 어떻게 작동하는가

Florence-2의 가장 큰 장점은 압도적으로 가벼운 크기다. 제공되는 모델은 232M과 771M 파라미터 두 가지뿐이라, 일반적인 PC나 엣지 기기에서도 부담 없이 실행할 수 있다.

구조적으로는 이미지 인코더와 멀티모달 인코더-디코더를 결합한 시퀀스-투-시퀀스 아키텍처를 채택했다. 특정 작업마다 별도의 헤드를 붙이는 대신, 바운딩 박스 좌표나 영역 정보까지 모두 표준화된 텍스트 출력으로 변환하여 처리한다.

이러한 범용성을 학습시키기 위해 마이크로소프트는 1억 2,600만 개의 이미지에 54억 개의 라벨이 달린 대규모 시각 데이터셋 FLD-5B를 구축했다. 모든 주석을 텍스트 형식으로 표준화함으로써, 단일 손실 함수를 사용해 다양한 비전 작업을 한 번에 훈련해 냈다.

대형 모델을 뛰어넘는 벤치마크 결과

작은 크기에도 불구하고 Florence-2가 보여주는 벤치마크 성능은 놀랍다.

COCO 데이터셋을 활용한 제로샷 캡셔닝 테스트에서 232M 버전은 133점, 771M 버전은 135.6점을 기록했다. 이는 파라미터가 80B에 달하는 딥마인드의 Flamingo 모델은 물론, 마이크로소프트 자체의 비주얼 그라운딩 모델인 Kosmos-2보다 뛰어난 수치다.

공개 데이터로 파인튜닝을 거쳤을 때도 COCO 객체 감지와 ADE20K 세그멘테이션 등에서 기존 ImageNet 사전학습 모델 대비 4배 빠른 훈련 효율을 보였으며, 정확도 점수도 5.5에서 6.9포인트 개선됐다.

현재 사전학습 모델과 파인튜닝 버전 모두 Hugging Face에 공개되어 있으며, 상업적 이용과 수정이 완전히 자유로운 MIT 라이선스가 적용되어 있다.

왜 중요한가

온디바이스 환경에서 비전 파이프라인을 구축하거나 가벼운 이미지 분석 도구가 필요한 개발자라면 지금 즉시 테스트해 볼 가치가 충분하다. 작업마다 다른 특화 모델을 띄우느라 들었던 메모리와 서빙 비용을 771M 크기의 모델 하나로 크게 줄일 수 있다.

산업 관점에서도 고품질의 합성 라벨 데이터를 정교하게 결합하면 1B 이하의 초경량 모델도 거대 멀티모달 모델 못지않은 만능 도구가 될 수 있음을 입증했다. 거대 모델 경쟁 속에서 엣지 비전 기술의 실용적인 돌파구를 열어준 셈이다.