애플, 멀티모달 AI '페럿' 조용히 오픈소스 공개…이미지 내 특정 영역 정밀 인식

Ferret은 애플과 코넬대학교 연구진이 공동으로 개발해 공개한 오픈소스 멀티모달 대형언어모델입니다. 이미지 전체가 아니라 사용자가 자유롭게 그린 임의 형태의 특정 영역을 인식하고 해당 부분에 대해 정밀하게 질문할 수 있는 점이 특징입니다.

어떤 기능을 제공하나

기존 멀티모달 모델들은 이미지 전체를 한꺼번에 분석하거나 네모난 바운딩 박스에 의존하는 경우가 많았습니다. 반면 Ferret은 사용자가 사진 위에 불규칙하게 자유 곡선으로 그린 영역까지 그대로 인식합니다.

애플의 AI/ML 연구원인 Zhe Gan은 Ferret이 이미지 내 어느 위치에서든, 어떤 크기나 형태든 상관없이 대상을 정확히 가리키고 인식할 수 있는 시스템이라고 설명합니다.

사용자가 지정한 영역 안에서 핵심 요소를 파악해 경계 상자를 그리고, 이를 질의의 일부로 활용해 대화형 답변을 제공하는 방식입니다.

예를 들어 여러 마리의 동물이 섞여 있는 사진에서 특정 동물 한 마리만 동그라미로 감싼 뒤 정체를 물어보면, 동물의 종을 알아맞힐 뿐 아니라 무리 중 특정 개체를 지칭했다는 사실을 파악하고 주변 배경 맥락까지 함께 고려해 자연스럽게 답변합니다.

특히 아주 작거나 세밀한 이미지 영역을 정밀하게 이해하는 능력에서는 GPT-4V보다 뛰어난 성능을 자주 보여준다고 연구진은 밝혔습니다.

스펙 및 공개 현황

애플은 지난 10월 30일 별도의 공식 발표나 홍보 없이 GitHub에 Ferret 코드와 벤치마크인 Ferret-Bench를 조용히 등록했습니다. 이어 12월 14일에는 모델 체크포인트 가중치까지 순차적으로 공개했습니다.

초기에는 조용히 지나갔으나, 12월 들어 의료 AI 분야의 Bart De Witte 등이 X를 통해 애플의 연구 노력을 조명하면서 커뮤니티의 큰 관심을 받기 시작했습니다. 또한 레딧 이용자들은 Ferret이 80GB 메모리를 탑재한 엔비디아 A100 GPU 8대로 훈련되었다는 문구를 발견하며 화제를 모으기도 했습니다.

현재 GitHub에서 코드와 가중치를 모두 다운로드할 수 있습니다. 다만 비상업적 라이선스로 배포되었기 때문에 현재 상태로는 상업적 서비스에 활용할 수 없으며, 학술 및 연구 목적으로만 테스트가 가능합니다.

왜 중요한가

컴퓨터 비전과 시각적 위치 추정(Grounding) 기술을 다루는 연구자라면 지금 바로 테스트해 볼 가치가 충분합니다. 정형화된 사각형을 벗어나 자유로운 형태의 입력을 처리하는 방식은 향후 멀티모달 UI 연구에 훌륭한 레퍼런스가 됩니다.

평소 폐쇄적인 개발 방식을 고수하던 애플이 가중치까지 열어둔 것은 영리한 접근으로 보입니다. 자체 대규모 AI 인프라를 확장해 나가는 과정에서 오픈소스 진영의 신뢰와 학계의 연구 피드백을 빠르게 확보할 수 있기 때문입니다.

하지만 비상업적 라이선스 제한이 명확한 만큼, 당장 상용 제품 개발에 적용하려는 개발자에게는 한계가 있습니다. 향후 애플의 자체 기기나 OS 기능에 녹아들 잠재력을 지닌 선행 연구 모델로 바라보고 접근하는 것이 바람직합니다.