MIT, 비디오와 음성을 1000개 단어로 연결하는 멀티모달 AI 개발

사람은 지나가는 자동차를 보고 엔진 소리를 들으면 두 감각이 같은 대상을 가리킨다는 사실을 본능적으로 압니다. 반면 기계에는 화면의 픽셀과 마이크의 음파가 완전히 다른 데이터 덩어리에 불과해 이를 하나로 묶는 일이 늘 난제였습니다.

미국 MIT 컴퓨터과학·인공지능연구소(CSAIL) 연구진이 사람의 수작업 라벨링 없이도 영상, 오디오, 텍스트 전반에서 공유되는 개념을 스스로 학습하는 인공지능 모델을 개발했습니다.

1000개 단어로 비디오와 음성을 한 공간에 정렬

이번 연구의 핵심은 표현 학습 방식에 있습니다. 기존 기계학습 모델들이 영상과 음성을 서로 다른 공간에서 따로 인코딩하던 방식에서 벗어났습니다.

논문의 제1저자인 CSAIL 대학원생 알렉산더 리우 연구팀은 두 가지 모달리티의 데이터를 하나의 공유 임베딩 공간에 매핑하도록 설계했습니다. 비슷한 개념을 하나의 벡터 포인트로 묶는 구조입니다.

가장 독특한 점은 엄격한 제약입니다. 연구진은 모델이 벡터에 라벨을 붙일 때 쓸 수 있는 단어를 정확히 1000개로 제한했습니다. 어떤 개념을 남길지는 모델이 자율적으로 판단하지만, 단어 예산은 1000개를 넘을 수 없습니다.

예를 들어 영상에 돼지가 나오면 모델은 1000개 벡터 중 하나에 pig라는 단어를 할당합니다. 오디오에서 누군가 pig라고 말하는 소리가 들리면 이 역시 같은 벡터로 유도됩니다. 이를 통해 아기가 우는 영상과 crying이라는 음성이 자연스럽게 연결됩니다.

기계가 왜 이 영상을 골랐는지 투명하게 본다

연구팀은 비디오-텍스트, 비디오-오디오, 이미지-오디오 등 3개 데이터셋에서 교차 모달 검색 성능을 시험했습니다. 음성 검색어를 넣었을 때 의도에 맞는 영상 클립을 찾아내는 테스트에서 기존 비교 모델들보다 우수한 정확도를 기록했습니다.

하지만 진짜 강점은 해석 가능성에 있습니다.

모델이 총 1000개의 직관적인 단어만 사용하므로, 사용자는 기계가 어떤 단어를 매개로 음성과 영상을 연관 지었는지 한눈에 확인할 수 있습니다. 기존 딥러닝 검색 모델 특유의 블랙박스 문제를 걷어낸 셈입니다.

물론 한계도 명확합니다. 실제 인간은 여러 감각을 동시에 받아들이지만 현재 모델은 한 번에 두 가지 모달리티만 짝지어 처리합니다. 테스트에 쓰인 데이터도 비교적 단순한 사물과 동작 위주여서, 복잡한 현실 세계에서도 1000개 단어로 충분할지는 검증이 더 필요합니다.

왜 중요한가

우리는 이 연구가 무작정 규모를 키우는 대신 의도적인 제약을 통해 실리를 챙겼다는 점에서 매우 영리하다고 봅니다. 복잡한 고차원 연속 벡터 대신 1000개 단어라는 이산적 제약을 걸어 높은 검색 성능과 설명 가능성을 동시에 확보했기 때문입니다.

멀티미디어 검색이나 콘텐츠 아카이빙을 다루는 개발자에게 이런 투명성은 엄청난 자산입니다. 기존 다중 모달 검색에서는 엉뚱한 결과가 나와도 내부 벡터 연산의 어디가 꼬였는지 추적하기가 불가능에 가까웠습니다. 중간에 사람이 읽을 수 있는 키워드가 개입되면 디버깅과 검증이 훨씬 수월해집니다.

로봇 공학 측면에서도 눈여겨볼 만합니다. 로봇이 현실 환경에서 사람의 음성 지시를 듣고 주변 시각 정보와 매칭하려면 이런 형태의 비지도 교차 학습이 필수적입니다.

당장 1000개 단어 수준의 프로토타입을 상용 서비스에 바로 도입할 수는 없습니다. 하지만 다중 모달 데이터를 가볍고 투명하게 정렬할 수 있는 실마리를 제시했다는 점에서 향후 온디바이스 AI나 설명 가능한 AI 구축에 중요한 참고점이 될 것으로 보입니다.