Pipio AI 'EditYourself': 말실수 매끄럽게 잘라내고 대사까지 감쪽같이 수정

카메라 앞에서 말을 하다가 단어 하나를 버벅거리는 순간의 고통은 영상 제작자라면 누구나 압니다. 기존 편집에서는 말을 더듬은 몇 초를 잘라내면 화면이 툭 튀는 이른바 '점프 컷'이 생기기 때문에, 결국 처음부터 다시 촬영하거나 다른 자료 화면으로 가려야 했습니다.

Pipio AI의 John Flynn, Wolfgang Paier, Dimitar Dinev를 비롯해 Sam Nhut Nguyen 등 공동 연구진은 이러한 편집 한계를 극복한 오디오 기반 비디오 편집 프레임워크 'EditYourself'를 발표했습니다.

문서 수정하듯 대사를 바꾸는 비디오 편집

EditYourself의 핵심은 텍스트 편집기처럼 영상을 직관적으로 다룰 수 있다는 점입니다. 대본 스크립트에서 더듬은 단어를 지우거나 완전히 새로운 문장으로 교체하면, AI가 수정된 오디오에 맞춰 입모양과 얼굴 표정을 생성해 기존 영상에 자연스럽게 이어 붙입니다.

연구진이 공개한 시연에서는 버락 오바마 전 대통령의 연설 영상 속 말더듬과 잦은 망설임을 말끔히 제거했습니다. 수작업 컷 편집을 적용하면 고개 위치나 시선이 튀는 현상이 두드러지지만, EditYourself는 편집 흔적 없이 동작이 자연스럽게 이어졌습니다.

"who who has..."와 같이 반복되는 말더듬을 매끄럽게 정리하는 것은 물론, 원래 영상에 없던 문장을 새로 끼워 넣거나 발언 내용 자체를 뜯어고쳐도 인물의 고유 특징과 조명, 립싱크가 온전히 유지됩니다.

140억 파라미터 DiT와 2단계 렌더링

기존 생성 모델은 아예 새로운 영상을 만드는 데는 능숙하지만, 이미 촬영된 영상의 일관성을 유지하면서 특정 발언만 고치는 작업에는 취약했습니다. EditYourself는 140억 파라미터 규모의 LTX-0.9.7 확산 트랜스포머(DiT)와 Video-VAE를 기반으로 설계되었습니다.

영상은 32×32×8 압축 잠재 공간에서 처리되며, 거친 표현에서 노이즈를 먼저 제거한 뒤 학습된 업샘플링을 거쳐 고해상도를 완성하는 2패스 방식을 취합니다.

음성 다운샘플링 없이 다양한 프레임레이트에 대응하는 윈도우 기반 오디오 조건화와 2단계 학습법을 적용해 립싱크 정확도를 높였습니다. 또한 영상이 길어질 때 얼굴 형태가 무너지는 문제를 막기 위해 '전후방 RoPE 조건화'와 TeaCache 인지 추론을 결합해 시계열 일관성을 확보했습니다.

왜 중요한가

콘텐츠 제작자에게 EditYourself는 '촬영 전 완벽한 대본 준비'에서 '한 번 찍고 나중에 다듬기'로의 패러다임 전환을 가져옵니다. 인터뷰나 강의 촬영 후 틀린 수치를 바로잡거나 일부 대사를 바꿀 때, 출연자를 다시 스튜디오로 부를 필요 없이 텍스트 입력만으로 후반 작업을 끝낼 수 있습니다.

나아가 LLM 기반 에이전트와 결합할 경우, 촬영본을 넘기기만 하면 말더듬과 불필요한 추임새를 알아서 쳐내는 자동 가편집 워크플로가 완성됩니다.

하지만 발언을 완벽하게 조작할 수 있다는 점은 딥페이크 악용이라는 치명적인 문제를 동반합니다. 립싱크 불일치나 화면 튐 현상 같은 시각적 단서가 사라지면서 조작 여부를 육안으로 가려내기가 사실상 불가능해졌습니다. 이러한 기술이 상용 툴로 보급되는 속도에 맞춰, 신뢰할 수 있는 디지털 워터마킹과 영상 출처 검증 체계 구축이 시급해 보입니다.