엔비디아, 오픈소스 모델 NVLM 1.0 공개: GPT-4o급 성능의 72B 모델

엔비디아가 멀티모달 대형 언어 모델 제품군인 NVLM 1.0을 오픈소스로 공개했습니다. 핵심 플래그십은 720억 개의 파라미터를 갖춘 NVLM-D-72B로, 이미지와 텍스트를 함께 처리하며 GPT-4o 같은 주요 상용 모델과 대등한 성능을 보입니다. 모델 가중치는 이미 공개되었으며 학습 코드도 공개될 예정입니다.

복잡한 시각 분석과 밈 해석까지 지원

그동안 프런티어급 시각 이해 기능은 대부분 폐쇄형 상용 API에 묶여 있었습니다. NVLM-D-72B는 이를 오픈소스 진영으로 끌고 왔습니다.

기술적으로는 여러 멀티모달 처리 기법을 결합한 하이브리드 아키텍처를 도입했습니다. 연구진이 공개한 예시에 따르면 학술 논문 밈의 유머 코드를 파악하는 것은 물론, 복잡한 기하학 및 수학 문제를 단계별로 풀이하는 역량을 보여줍니다. 시각 및 언어 종합 벤치마크에서도 GPT-4o, Claude 3.5, Llama 3-V 등과 경쟁 가능한 수준을 기록했습니다.

시각 학습 후 텍스트 성능 오히려 4.3점 상승

대다수 멀티모달 모델은 시각 정보를 학습하는 과정에서 텍스트 전용 추론이나 코딩 능력이 일부 손실되는 한계를 겪습니다. 하지만 NVLM-D-72B는 정반대의 결과를 냈습니다.

멀티모달 학습을 거친 뒤 주요 텍스트 벤치마크 정확도가 평균 4.3점 상승했습니다. 특히 텍스트 전용 수학과 코딩 분야에서 향상이 두드러졌는데, 한 AI 연구자는 소셜 미디어를 통해 72B 모델이 수학 및 코딩 평가에서 405B 규모의 Llama 3.1에 근접하면서 시각 기능까지 온전히 갖췄다며 긍정적인 평가를 남겼습니다.

현재 NVLM 1.0 연구 논문은 arXiv에 게재되었으며 가중치는 자유롭게 내려받을 수 있습니다.

왜 중요한가

외부 API로 데이터를 보내기 어려운 환경에서 자체 구축 가능한 고성능 비전-언어 모델을 찾고 있다면 NVLM-D-72B는 바로 테스트해 볼 만한 선택지입니다. 72B 크기는 엔터프라이즈 워크스테이션이나 사내 서버에서 현실적으로 운용할 수 있는 규모입니다.

엔비디아가 최고 수준의 가중치를 개방하고 멀티모달 학습이 텍스트 추론 성능을 오히려 끌어올릴 수 있음을 입증한 만큼, 향후 오픈소스 생태계 전반의 기술 기준점 역시 한 단계 높아질 것으로 보입니다.