유튜버, 연출 논란 빚은 구글 제미나이 시연을 GPT-4V로 진짜 구현

유튜버 Greg Technology가 오픈소스로 공개한 'ChatGPT Video'는 웹캠 영상과 음성을 실시간으로 오픈AI의 GPT-4V에 전달해 개인 PC에서 멀티모달 상호작용을 구현해 주는 도구입니다.

이 프로젝트는 구글이 공개했던 제미나이 울트라 시연 영상의 연출 논란에서 출발했습니다. 구글은 AI가 실시간 영상을 보고 즉각 대화하는 것처럼 홍보했으나, 실제로는 정지 이미지 입력과 텍스트 프롬프트, 사후 녹음 편집으로 만들어진 연출 영상임이 드러났습니다. 이에 개발자가 기존 GPT-4V API를 활용해 그 동작을 진짜 실시간 환경에서 구현해 낸 것입니다.

무엇을 할 수 있나

웹캠으로 들어오는 영상 프레임을 분할해 GPT-4V의 시각 인지 기능으로 전송하고, 챗GPT 보이스 모드와 유사한 자연스러운 음성으로 결과를 들려줍니다.

시연 영상에서는 구글이 선보였던 핵심 기능들을 그대로 재현했습니다. 카메라 앞에서 손짓을 보여주며 가위바위보를 할 수 있고, 종이에 물 위에 뜬 오리를 그려 나가면 AI가 스케치 과정을 보며 무엇인지 맞힙니다. 이모티콘 퀴즈 역시 실시간으로 인식해 답변합니다. M2 맥북 에어에서 직접 테스트한 테크 외신에 따르면, 설치 후 몇 분 만에 손동작은 물론 유리 커피잔과 책 표지를 인식해 책 제목과 저자까지 정확히 읽어냈습니다.

어떻게 실행하나

전체 소스 코드는 깃허브에 무료로 공개되어 있습니다.

고가의 전문 GPU 장비나 복잡한 로컬 모델 파이프라인 없이도 실행할 수 있습니다. 일반 노트북 환경에서 깃허브 코드를 내려받은 뒤 본인의 오픈AI GPT-4V API 키만 입력하면 바로 구동됩니다.

대기업의 홍보 영상처럼 화면이 화려하게 다듬어져 있지는 않고 API 통신에 따른 약간의 지연 시간도 존재합니다. 하지만 정지 이미지를 가공하거나 편집으로 속도를 올리지 않은, 실제 동작하는 엔드투엔드 파이프라인을 그대로 보여줍니다.

왜 중요한가

카메라 기반 멀티모달 비서를 개발하려는 엔지니어라면 대기업의 비공개 베타를 마냥 기다리지 않고 지금 바로 가져다 검증해 볼 수 있는 훌륭한 레퍼런스입니다.

빅테크가 정교한 편집 영상으로 기술력을 과시하는 사이, 한 명의 개발자가 이미 상용화된 API만으로 실제 작동 버전을 만들어 냈다는 점은 시사하는 바가 큽니다. 시각 이해 기반의 상호작용이 이제 단순한 미래 컨셉이 아니라 누구나 손에 쥘 수 있는 현실적인 도구 단계에 진입했음을 보여줍니다.