메타, 정밀 이미지 편집 '이뮤 에디트'와 영상 생성 '이뮤 비디오' 공개

AI로 사진 속 특정 부분만 수정하려다가 엉뚱하게 얼굴이나 배경 전체가 바뀌어 버린 경험이 있을 것입니다. 결국 마음에 드는 결과물이 나올 때까지 프롬프트만 붙잡고 씨름하게 되곤 합니다.

Meta 연구진은 이러한 제어 문제를 해결하기 위한 두 가지 연구 성과인 Emu Edit과 Emu Video를 발표했습니다. 두 도구 모두 지난 9월 Meta Connect에서 공개된 이미지 기반 파운데이션 모델 Emu를 바탕으로 작동합니다.

건드릴 픽셀만 정확히 바꾼다

기존 이미지 편집 모델은 명령을 제대로 반영하지 못하거나, 반대로 과도하게 이미지를 왜곡하는 문제가 잦았습니다. Meta는 그럴듯한 이미지를 새로 그려내는 것보다 사용자가 요청한 영역의 픽셀만 정확하게 수정하는 것이 핵심이라고 봤습니다.

예를 들어 야구 모자에 'Aloha!'라는 문구를 넣어달라고 지시하면, 모자의 질감이나 배경은 그대로 둔 채 글자만 얹는 식입니다. Emu Edit은 자연어 지시만으로 배경 제거나 추가, 색상 및 기하학적 형태 변경, 객체 감지, 세그멘테이션 등 다양한 작업을 수행합니다.

Meta는 이 모델을 학습시키기 위해 1,000만 개의 합성 데이터셋을 자체 구축했습니다. 입력 이미지와 작업 지시문, 목표 이미지가 짝을 이룬 형태로 16개 컴퓨터 비전 작업을 포괄합니다. Meta는 이 대규모 학습 덕분에 인페인팅이나 고해상도 변환 같은 새로운 작업도 소량의 예시만으로 빠르게 학습해 처리할 수 있다고 설명했습니다.

모델 5개를 2개로 줄인 비디오 생성

비디오 생성 모델인 Emu Video는 파이프라인의 복잡성을 획기적으로 낮췄습니다. Meta의 초기 연구였던 Make-A-Video가 5개의 모델을 엮어 썼던 반면, Emu Video는 단 2개의 확산 모델만으로 작동합니다.

접근 방식도 단계별로 나눴습니다. 먼저 텍스트 프롬프트로부터 정지 이미지를 생성한 다음, 텍스트와 해당 이미지를 함께 참조해 움직임을 만들어내는 식입니다. 이를 통해 512x512 해상도, 초당 16프레임의 4초 길이 비디오를 안정적으로 만들어내며, 최대 8초 길이 테스트에서도 양호한 결과를 얻었습니다. 텍스트 프롬프트뿐 아니라 사용자가 올린 정지 사진을 애니메이션으로 변환하는 기능도 지원합니다.

Meta가 진행한 인간 평가 시스템 JUICE에 따르면, Emu Video는 기존 Make-A-Video 대비 화질에서 96%, 텍스트 일치도에서 85%의 선호도를 기록했습니다. Pika Labs와의 비교 평가에서도 95% 이상의 경우에서 더 높은 점수를 얻었습니다.

왜 중요한가

Emu Edit과 Emu Video는 아직 연구 단계여서 일반 사용자가 지금 당장 외부 앱으로 써볼 수는 없습니다. 하지만 인스타그램과 왓츠앱을 보유한 Meta의 특성상, 이 기술들이 메신저와 소셜 미디어 안으로 직접 들어왔을 때의 파급력은 상당합니다. 복잡한 포토샵을 배울 필요 없이 대화하듯 텍스트를 입력해 사진을 손보거나, 나만의 움직이는 스티커와 GIF를 채팅창에서 즉석으로 만드는 일이 가능해집니다.

우리는 Meta가 비디오 생성 파이프라인을 2개의 확산 모델로 압축한 점을 매우 실용적인 선택이라고 평가합니다. 이미지 편집에서도 단순히 예쁜 그림을 만드는 대신 지시받지 않은 픽셀을 보존하는 쪽에 집중한 것은 실제 창작자들의 가장 큰 불만을 정확히 짚었습니다. 다만 1,000만 건의 합성 데이터로 훈련된 모델이 조명과 각도가 불규칙한 실제 일상 사진에서도 경계면 깨짐 없이 버텨줄지는 상용화 단계에서 지켜봐야 할 부분입니다.