메타, 시각·음향·동작 등 6가지 데이터 결합한 ImageBind 오픈소스 공개

ImageBind는 메타가 오픈소스로 공개한 멀티모달 AI 연구 모델로, 서로 완전히 다른 6가지 형태의 데이터를 하나의 공간으로 묶어 상호 이해할 수 있도록 설계되었다.

다루는 데이터는 텍스트, 오디오, 시각 데이터(이미지와 동영상), 적외선 열화상, 심도 정보, 그리고 스마트폰과 스마트워치에 들어가는 IMU 관성측정장치의 동작 센서 데이터까지 총 6가지다.

무엇을 할 수 있나

현재 유행하는 대다수 생성형 AI 툴은 텍스트로 이미지를 만들거나 텍스트로 오디오를 만드는 등 두 가지 모달리티 사이의 결합에 머물러 있다.

ImageBind의 목표는 AI가 인간처럼 여러 감각을 동시에 받아들이고 교차 참조하도록 만드는 것이다.

예를 들어 특정 소리를 듣고 그에 맞는 시각적 장면을 유추하거나, 센서의 물리적 움직임 데이터로 주변 환경을 추론할 수 있다. 텍스트로 생성한 영상에 어울리는 오디오를 자동으로 맞춰 생성하는 작업도 가능해진다.

메타가 그리는 미래의 가상현실 환경에서는 시각과 청각 자극뿐 아니라 기기 센서가 감지한 이용자의 물리적 움직임까지 반영해 흔들리는 배 위의 감각을 입체적으로 재현하는 식이다.

구현 방식과 현재의 한계

핵심 메커니즘은 6가지 센서 데이터를 AI 분야에서 말하는 단일 '임베딩 공간(embedding space)'이라는 다차원 인덱스로 통합한 데 있다.

DALL-E, Stable Diffusion, Midjourney 같은 이미지 생성 모델들이 학습 과정에서 텍스트와 이미지를 묶어 둔 원리를 6가지 데이터 영역으로 확장한 셈이다.

메타는 향후 연구를 통해 촉각, 음성, 후각, 심지어 뇌의 fMRI 신호까지 입력 스트림으로 추가할 수 있을 것으로 내다봤다.

다만 ImageBind는 현재 기초 연구 단계의 프로젝트이며, 일반 사용자가 즉시 사용할 수 있는 완제품이나 상용 앱 형태로 제공되는 것은 아니다.

지난해 메타가 텍스트로 짧고 흐릿한 비디오를 생성하는 모델을 선보였듯, 이번 연구 역시 차세대 복합 감각 생성 시스템을 구축하기 위한 밑바탕 작업에 가깝다.

왜 중요한가

멀티모달 시스템을 다루는 연구자와 개발자에게 ImageBind는 텍스트-이미지 중심의 좁은 틀을 벗어나 여러 감각을 아우르는 실험을 진행할 수 있는 유용한 오픈소스 자산이다.

OpenAI와 구글이 기술 세부 정보를 점점 비공개로 돌리는 상황에서 메타는 기반 모델을 계속 공개하며 외부 생태계의 검증과 개선을 유도하고 있다.

당장 일상 업무에 쓸 수 있는 도구는 아니지만, 차세대 AI가 물리적 세계를 다감각으로 이해해 나가는 방향성을 명확히 보여준다.