엔비디아, 이미지·영상 속 특정 영역을 정밀 묘사하는 DAM-3B 공개

엔비디아가 오픈소스로 공개한 Describe Anything 3B(DAM-3B)는 이미지나 영상 속 특정 영역을 지정하면 세부적인 설명을 생성해 주는 30억 파라미터 규모의 멀티모달 모델입니다.

범용 비전-언어 모델은 전체 화면을 요약하는 능력은 뛰어나지만, 구석에 놓인 작은 물건이나 영상 속 특정 객체만을 지정해 묘사하도록 요구하면 세부 정보를 놓치거나 배경과 혼동하기 쉽습니다. DAM-3B는 이 국소 영역 인식 문제를 해결하기 위해 설계되었습니다.

무엇을 할 수 있나

DAM-3B는 영역을 지정하는 방식이 매우 유연합니다. 사용자는 점을 찍거나, 경계 상자를 그리거나, 낙서하듯 선을 긋거나, 마스크를 씌워 원하는 위치를 지정할 수 있습니다.

영역이 입력되면 모델은 전체 화면 맥락을 놓치지 않으면서 해당 부분만을 정밀하게 설명하는 문장을 생성합니다. 정지 이미지뿐 아니라 영상 특화 버전인 DAM-3B-Video도 함께 공개되어, 대상이 움직이거나 장애물에 가려지더라도 지속적으로 추적하며 설명을 작성합니다.

현재 모델 가중치와 논문은 허깅페이스를 통해 공개되어 누구나 내려받아 테스트할 수 있습니다.

어떻게 동작하나

특정 부위만 확대해 잘라내면 전체 맥락을 잃기 쉽습니다. 엔비디아는 이를 해결하기 위해 포컬 프롬프트(focal prompt) 방식을 도입했습니다.

전체 이미지와 타깃 영역의 고해상도 크롭 이미지를 함께 입력한 뒤, 게이트형 교차 주의집중(gated cross-attention) 메커니즘을 통해 전역 특징과 국소 특징을 효율적으로 결합합니다. 이 과정에서 토큰 길이가 불필요하게 늘어나지 않아 연산 효율을 유지합니다.

영상 버전인 DAM-3B-Video는 프레임별 영역 마스크를 시간 축을 따라 통합 인코딩하여, 빠른 움직임이나 가림 현상이 발생해도 안정적으로 세부 묘사를 이어갑니다.

국소 영역 데이터 부족 문제를 풀기 위해 반지도 학습 파이프라인(DLC-SDP)도 구축했습니다. 분할 데이터셋과 웹 이미지를 결합해 150만 건의 국소 학습 데이터를 구축하고, 셀프 트레이닝으로 캡션 품질을 끌어올렸습니다.

벤치마크 결과

연구팀은 설명의 품질을 평가하기 위해 속성 수준의 정확도를 측정하는 DLC-Bench를 새로 제안했습니다.

3B 크기의 DAM-3B는 DLC-Bench에서 평균 정확도 67.3%를 기록하며, GPT-4o나 비디오 특화 모델인 VideoRefer를 앞서는 세부 묘사 정밀도를 보여주었습니다.

또한 LVIS, PACO, Flickr30k Entities 같은 키워드 및 구문 단위 벤치마크는 물론, Ref-L4, HC-STVG 등 복잡한 다중 문장 캡셔닝 평가에서도 앞선 성능을 입증했습니다.

왜 중요한가

거대 모델의 덩치를 무작정 키우는 대신, 3B 크기의 컴팩트한 모델로 국소 영역 묘사라는 난제를 해결했다는 점이 인상적입니다.

로봇 시각 인식, 정밀 영상 편집 및 라벨링, 시각 보조 도구 분야에서는 전체 풍경에 대한 만담보다 특정 부품이나 특정 인물이 무엇을 하고 있는지 집어내는 능력이 훨씬 절실합니다. DAM-3B는 고비용 API 없이도 로컬 환경에서 이를 처리할 수 있는 길을 열어줍니다.

비전 AI 시스템을 구축하는 개발자라면 지금 바로 테스트해 볼 가치가 충분합니다. 다만 정밀 묘사에 초점이 맞춰진 도구이므로, 고차원적 맥락 추론이 필요한 작업에서는 상위 LLM과 연계해 파이프라인을 구성하는 편이 적합합니다.