바이두, 오픈소스 멀티모달 모델 ERNIE 공개: 이미지 줌인 추론 지원 및 상업적 무료 개방

ERNIE-4.5-VL-28B-A3B-Thinking은 바이두가 오픈소스로 공개한 멀티모달 추론 모델입니다. 복잡한 도표 분석, 문서 처리, STEM 문제 풀이, 산업용 객체 위치 추적 등 다양한 시각 작업을 수행합니다.

가장 눈에 띄는 점은 사람이 사물을 관찰하듯 이미지를 동적으로 확대 및 축소하며 세부 정보를 파악하는 기능입니다.

주요 기능과 작동 방식

기존의 시각 언어 모델은 이미지를 고정된 해상도로 처리해 복잡한 도면이나 도표의 작은 글자를 놓치는 경우가 많았습니다.

이 모델은 'Thinking with Images' 방식을 도입해 이미지의 특정 영역을 자유롭게 줌인하거나 줌아웃하며 미세한 결함과 수치를 확인합니다.

외부 이미지 검색 도구를 호출해 학습 데이터 외의 시각 정보까지 보완할 수 있도록 설계되었습니다.

또한 산업 현장에서 요구되는 정밀한 비주얼 그라운딩을 지원하여 로봇 공학이나 물류 자동화 환경에서 특정 객체의 위치를 정확히 좌표로 짚어냅니다.

비디오 이해 영역에서도 시간 흐름에 따른 이벤트 변화를 감지해 특정 구간을 추적하는 능력을 갖췄습니다.

전체 28B 중 3B만 활성화하는 효율성

전체 파라미터 수는 28B에 달하지만, 정교한 라우팅 아키텍처를 통해 실행 시점에는 단 3B만 활성화합니다.

이 덕분에 대형 모델 수준의 추론 깊이를 유지하면서도 메모리와 연산 자원 소모를 크게 줄였습니다.

바이두는 대규모 시각 언어 데이터셋을 활용한 중기 학습과 대규모 강화학습을 거쳤다고 설명했습니다.

문서 및 차트 이해 벤치마크에서 Gemini 2.5 Pro와 GPT-5-High를 앞선다고 발표했으나, 커뮤니티의 독립적인 검증은 아직 진행 중입니다.

라이선스 및 사용 방법

모델 가중치는 허깅페이스에 등록되어 있으며, 상업적 제한이 없는 완전 무료 아파치 2.0 라이선스로 배포되었습니다.

추론 시 활성화 파라미터가 3B에 불과하므로 고가의 전용 인프라 없이도 온프레미스 서버나 워크스테이션에서 구동하기 수월합니다.

왜 중요한가

PDF 문서 자동 처리나 공장 검수 시스템을 구축하려는 개발자라면 지금 즉시 테스트해 볼 가치가 있습니다.

동적 확대 메커니즘으로 고해상도 이미지 처리의 한계를 풀고, 3B 활성화 구조로 운영 비용까지 잡았다는 점이 영리합니다.

상업적 사용이 자유로운 아파치 2.0으로 풀린 만큼 기업 환경에서의 활용도가 높을 것으로 보입니다. 다만 최상위 상용 모델을 앞선다는 공식 주장은 커뮤니티의 벤치마크 결과가 나올 때까지 지켜볼 필요가 있습니다.