어도비, '트랜스픽사' 오픈소스 공개: 투명 배경 AI 비디오 직접 생성
어도비 리서치와 홍콩과기대가 비디오 생성 모델 '트랜스픽사(TransPixar)'를 공개했다. 기존과 달리 알파 채널이 포함된 RGBA 비디오를 바로 만들어내 연기나 반사 효과 같은 VFX 요소를 별도 누끼 작업 없이 장면에 자연스럽게 합성할 수 있다.
트랜스픽사(TransPixar)는 어도비 리서치와 홍콩과학기술대학교가 함께 오픈소스로 공개한 비디오 생성 모델입니다. 핵심은 단 하나, 알파 채널이 포함된 투명 배경의 RGBA 비디오를 직접 만들어내는 것입니다.
기존 AI 비디오 모델을 영상 합성에 쓰려면 골치가 아팠습니다. 모든 결과물이 불투명한 단색 배경으로 꽉 차서 출력되기 때문입니다. 연기나 불꽃 같은 효과 하나만 쓰려고 해도 일일이 누끼를 따야 했고, 경계면이 지저분해 실무에 그대로 얹기는 불가능에 가까웠습니다.
무엇을 할 수 있나
트랜스픽사는 이러한 합성의 번거로움을 단번에 해결합니다. 간단한 텍스트 프롬프트만 입력하면 배경이 투명하게 처리된 특수효과 비디오를 즉시 뽑아냅니다.
공개된 데모에서는 서서히 피어오르는 연기, 전류가 흐르는 포털, 회전하는 소행성대 같은 복잡한 요소들이 매끄럽게 구현되었습니다. 반투명한 질감과 빛의 경계면이 자연스럽게 투과되어 다른 배경 영상 위에 곧바로 얹을 수 있습니다.
텍스트 기반 생성뿐만 아니라, 일반 정지 이미지를 입력받아 그 위에 투명 동적 효과를 얹어 움직이게 만드는 기능도 지원합니다.
작동 원리와 공개 상태
어도비 리서치의 프로젝트 리더 이후이(Yijun Li)는 백서에서 시각효과 합성의 핵심은 알파 채널이지만, 투명 비디오 데이터셋이 부족해 기존 모델을 개조하기가 매우 까다로웠다고 설명했습니다.
트랜스픽사는 반투명 재질과 섬세한 반사광을 처리할 수 있도록 구조를 다듬어, 비디오의 매 프레임마다 정확한 알파 채널 값을 계산해 냅니다.
현재 어도비와 연구진은 깃허브(GitHub)에 전체 코드를 공개해 누구나 확인하고 개발할 수 있도록 했습니다. 허깅페이스(Hugging Face)에는 웹에서 바로 써볼 수 있는 인터랙티브 데모도 올라와 있습니다.
다만 이 프로젝트는 아직 초기 연구 단계입니다. 애프터 이펙트나 시네마 4D 플러그인 형태로 공식 제공되는 것은 아니며, 실제 상업 영상에 바로 쓰기에는 해상도와 기능 면에서 추가 개발이 필요합니다.
왜 중요한가
독립 VFX 아티스트나 1인 게임 개발자라면 허깅페이스 데모를 직접 테스트해 볼 가치가 충분합니다. 향후 플러그인 형태로 편집 툴에 붙는다면 연기나 포털 같은 흔한 효과 에셋을 만드는 시간이 획기적으로 줄어들기 때문입니다.
대다수 생성형 비디오가 그럴듯한 배경 한 컷을 통째로 만드는 데 집중할 때, 어도비는 현업 작업자가 진짜 필요로 하는 파이프라인 병목을 짚었습니다. 배경이 꽉 찬 영상에서 '합성 가능한 투명 레이어'로 넘어가는 것이야말로 AI가 실제 영상 산업에 안착하는 현실적인 길입니다.
출처 (1)
- creativebloq.com(새 탭에서 열림)원문creativebloq.com