첫 멀티모달 모델 ‘Grok-1.5V’ 공개… 현실 공간 이해 강화

텍스트만 읽을 수 있는 AI는 현실 세계와 단절되어 있을 수밖에 없습니다.

xAI가 4월 12일 자사 첫 멀티모달 모델인 Grok-1.5 Vision(Grok-1.5V)을 공개했습니다. 텍스트뿐만 아니라 문서, 다이어그램, 차트, 화면 캡처, 실제 사진 등 다양한 시각 정보를 이해할 수 있는 모델입니다.

xAI는 초기 테스터와 기존 Grok 사용자들에게 곧 Grok-1.5V를 제공할 예정이라고 밝혔습니다.

순서도를 코드로 변환하고 새 벤치마크도 제시

xAI가 공개한 예시에서는 숫자 맞추기 게임의 순서도 이미지를 넣자 모델이 이를 분석해 바로 실행 가능한 파이썬 코드로 바꿔주는 모습을 보여줬습니다.

벤치마크 수치에서도 두각을 나타냈습니다. xAI는 생각의 연쇄(CoT) 프롬프트 없이 제로샷 환경에서 테스트했다고 설명했습니다. 수학적 시각 추론인 Mathvista에서 52.8퍼센트, 다이어그램 이해인 AI2D에서 88.3퍼센트를 기록하며 GPT-4V나 Claude 3 Opus와 대등하거나 앞서는 결과를 보였습니다.

흥미로운 점은 xAI가 RealWorldQA라는 새로운 자체 벤치마크를 함께 공개했다는 것입니다. 물리적인 현실 세계의 공간 이해력을 평가하기 위한 데이터셋으로, 차량에서 촬영한 익명 이미지 등 700장 이상의 사진과 검증 가능한 질문들로 구성되어 있습니다. xAI는 이 677MB 크기의 데이터를 CC BY-ND 4.0 라이선스로 배포했습니다. Grok-1.5V는 이 평가에서 68.7퍼센트를 기록했습니다.

왜 중요한가

우리는 Grok-1.5V가 xAI를 텍스트 챗봇에 머물던 수준에서 최상위 멀티모달 경쟁 구도로 끌어올린 중요한 전환점이라고 봅니다.

사용자 입장에서는 화면 캡처나 다이어그램을 던져주고 즉시 코드를 뽑아내는 등 실무적인 보조 도구로 쓸 여지가 생겼습니다. 다만 초기 테스터와 기존 사용자 대상 순차 배포 형태라 당장 누구나 자유롭게 써볼 수 있는 것은 아닙니다.

업계 관점에서는 xAI가 물리적 공간 이해를 전면에 내세웠다는 점에 주목해야 합니다. 다른 기업들이 문서 요약이나 사무용 차트 분석에 집중할 때, 차량 주행 화면을 벤치마크에 넣은 것은 테슬라 자율주행이나 휴머노이드 로봇 생태계와의 연결을 염두에 둔 포석으로 보입니다.

정적인 이미지 한 장으로 공간을 파악하는 것과 실제 움직이는 환경을 통제하는 것 사이에는 여전히 큰 간극이 존재합니다. 하지만 짧은 기간 안에 선두 주자들의 시각 지능을 따라잡았다는 점에서 시장에 작지 않은 긴장감을 불어넣고 있습니다.