사진 두 장으로 제품 시연 영상 만드는 프레임워크 'CoInteract' 공개

인플루언서가 제품을 직접 들고 시연하는 쇼츠나 릴스 영상을 제작하려면 제품 협찬부터 촬영, 편집까지 적지 않은 비용과 시간이 듭니다. 기존 AI 영상 모델을 쓰자니 물건을 쥐는 순간 손가락이 뭉개지거나 제품을 그대로 뚫고 지나가는 등 심각한 그래픽 깨짐 현상이 반복되었습니다.

연구진이 공개한 비디오 생성 프레임워크 'CoInteract'(일부 커뮤니티에서는 Co-InAct로도 표기)는 바로 이 상호작용 문제를 정면으로 해결했습니다. 사용자는 인물 사진 한 장과 제품 사진 한 장, 그리고 텍스트 프롬프트나 음성 오디오만 입력하면 됩니다. 그러면 인물이 해당 제품을 자연스럽게 쥐고 소개하는 시연 영상이 완성됩니다.

손가락 관통 막는 이중 스트림 설계

AI가 사람과 물체의 상호작용(HOI)을 다룰 때 가장 취약한 지점은 손과 얼굴의 구조적 안정성, 그리고 손이 물체를 침범하지 않는 물리적 접촉 일관성입니다. CoInteract는 Diffusion Transformer(DiT) 기반 위에 두 가지 핵심 장치를 도입했습니다.

첫 번째는 공간 감독 방식의 '인체 인식 MoE(Mixture-of-Experts)'입니다. 손이나 얼굴처럼 정밀함이 요구되는 영역의 토큰을 특화된 경량 전문가 모듈로 라우팅해, 연산 오버헤드를 최소화하면서도 섬세한 형태를 유지합니다.

두 번째 혁신은 '공간 구조 공동 생성(Spatially-Structured Co-Generation)'이라는 이중 스트림 학습 방식입니다. 겉모습의 픽셀을 다루는 RGB 스트림과 함께, 인물과 물체 간의 물리적 접촉 구조를 다루는 보조 스트림을 병렬로 학습시킵니다.

학습 단계에서 보조 스트림이 기하학적 접촉 규칙을 모델에 주입하고, 실제 영상을 생성(추론)할 때는 보조 스트림을 떼어내 추가 비용 없이 깔끔한 영상을 뽑아냅니다. 사용자가 프롬프트에 단계별 지침을 지정하면 그 순서에 맞춰 시연 동작을 차례대로 수행하는 것도 가능합니다.

왜 중요한가

이커머스 셀러나 마케팅 담당자 관점에서 이 기술은 UGC 스타일 광고 제작 방식을 완전히 뒤바꿀 수 있습니다. 인플루언서를 섭외하고 샘플을 보내 기다리는 대신, 제품 누끼 사진과 인물 사진 몇 장으로 다양한 버전의 제품 소개 영상을 단 몇 분 만에 대량 생성할 수 있기 때문입니다.

저희가 보기에 이 기술은 특히 마이크로 인플루언서나 단순 제품 리뷰어들에게 적지 않은 위협이 될 것으로 보입니다. 브랜드가 초상권과 제품 이미지만으로 자연스러운 시연 영상을 만들어낼 수 있다면, 실제 인물을 섭외해 촬영할 유인이 크게 줄어듭니다.

기술적인 접근법 역시 매우 영리합니다. 거대 모델이 우연히 물리 법칙을 깨우치길 기대하며 파라미터를 무작정 늘리는 대신, 학습 시점에만 물리적 구조 제약을 걸고 추론 시점에는 부담을 없애 실용성을 극대화했습니다. 현재는 논문 단계이지만, 주요 상용 생성 AI 도구들이 이 아키텍처를 빠르게 흡수할 가능성이 높습니다.