Adobe, VideoGigaGAN 공개: 흐릿한 영상 8배 확대해도 깜빡임 억제

오래전에 찍은 화질 낮은 동영상을 선명하게 만들려다 보면, 화면이 온통 뭉개지거나 프레임마다 지직거리는 깜빡임 때문에 포기하기 일쑤였습니다.

외신에 따르면, Adobe 연구진은 흐릿한 영상의 해상도를 원래의 최대 8배까지 끌어올리는 생성형 AI 모델 'VideoGigaGAN'을 공개했습니다. 앞서 4월 18일 논문으로 먼저 발표된 기술로, 초해상도 작업에서 고질적으로 나타나던 깜빡임과 왜곡을 잡은 것이 특징입니다.

GAN 특유의 깜빡임 잡고 8배 확대

정지 이미지 분야에서 생성적 적대 신경망(GAN)은 해상도를 높이면서 피부 결 같은 세밀한 묘사를 채워 넣는 데 매우 효과적이었습니다.

문제는 이를 동영상에 적용할 때 발생합니다. 프레임마다 AI가 복원하는 세부 묘사가 미세하게 달라지면서, 영상을 재생하면 화면 전체가 번쩍이며 깜빡이는 현상이 생겼습니다. 반면 기존의 동영상 초해상도(VSR) 기술들은 깜빡임을 막을 수는 있어도 결과물이 다소 흐릿하고 뭉툭했습니다.

VideoGigaGAN은 이 두 가지 장점을 하나로 모았습니다. 프레임 간의 시계열 안정성을 유지하면서도 GAN 특유의 날카로운 디테일을 그대로 살려낸 것입니다.

Adobe가 공개한 시연 영상 속 피부 주름이나 결은 사실상 모델이 완전히 새로 생성해낸 결과물이지만, AI가 개입했다는 사실을 눈치채기 어려울 만큼 자연스럽습니다. 사진에서 벌어지던 '어디까지가 진짜인가'라는 논쟁이 영상 영역으로 번질 만한 수준입니다.

아직은 연구 프리뷰, 상용화는 미정

다만 VideoGigaGAN은 현재 기술 연구 프리뷰 단계입니다. Adobe는 이 모델을 Premiere Pro 같은 Creative Cloud 상용 제품에 언제 탑재할지 보장하지 않았습니다.

동영상 초해상도 분야의 경쟁은 이미 치열합니다. Adobe는 2023년 10월 MAX 행사에서도 확산 모델 기반으로 저화질 GIF와 영상을 복원하는 'Project Res-Up'을 선보인 바 있으며, Microsoft와 Nvidia 역시 자체 VSR 기술을 개발해 보급하고 있습니다.

결국 기술적 가능성은 입증했지만, 일반 영상 편집자가 타임라인 위에서 바로 쓸 수 있는 도구가 되기까지는 시간이 더 필요합니다.

왜 중요한가

과거 표준 화질로 촬영된 다큐멘터리 자료나 저화질 기록 영상을 복원해야 하는 창작자에게 8배 확대는 매우 실질적인 혜택입니다. 손쓸 수 없을 정도로 깨지던 영상도 작업 가능한 수준으로 끌어올릴 수 있기 때문입니다.

기술적인 접근법도 영리합니다. 최근 업계가 막대한 연산 자원을 소모하는 확산 모델로 일제히 쏠리는 상황에서, GAN의 프레임 흔들림을 제어해 고화질을 뽑아낼 수 있음을 다시 한번 증명했습니다.

하지만 우리가 보기에 명확한 숙제도 있습니다. AI가 원본에 아예 없던 모공이나 주름을 그럴듯하게 채워 넣는다면, 이를 단순한 화질 복원으로 봐야 할지 가공된 창작물로 봐야 할지 경계가 흐려집니다. 실제 소프트웨어에 탑재될 때는 알고리즘이 임의로 덧붙인 디테일에 대한 투명성 가이드라인이 함께 마련되어야 할 것으로 보입니다.