런웨이, '젠-3 알파' 이미지 투 비디오 기능 출시

텍스트 입력만으로 AI 동영상을 만들 때 가장 골치 아픈 점은 컷이 바뀔 때마다 등장인물의 얼굴과 분위기가 제멋대로 달라진다는 것이었습니다.

Runway가 7월 29일 자사의 최신 동영상 생성 모델인 Gen-3 Alpha에 이미지 투 비디오(Image to Video) 기능을 공식 추가했습니다. 사용자가 입력한 특정 이미지를 첫 번째 프레임으로 삼아 10초 분량의 영상을 생성하는 방식입니다.

이미지만 단독으로 입력해 자연스럽게 움직이게 만들 수도 있고, 텍스트 프롬프트를 함께 넣어 움직임이나 연출 방향을 제어할 수도 있습니다.

첫 프레임을 고정해 캐릭터 일관성을 잡다

Gen-3 Alpha는 텍스트 기반 생성에서 뛰어난 성능을 보였지만, 캐릭터의 일관성을 유지하거나 사실적인 움직임을 표현하는 데는 여전히 한계가 있었습니다.

이번 기능이 도입되면서 미드저니 같은 도구로 미리 뽑아둔 캐릭터 이미지나 카메라로 직접 촬영한 사진을 첫 장면에 올릴 수 있게 되었습니다. 외신 테스트에 따르면 텍스트로만 영상을 생성할 때보다 화질과 움직임의 자연스러움이 확연히 개선되었으며, 이전 모델들에서 흔히 나타나던 어색한 슬로모션 현상도 줄어들었습니다.

여기에 Runway의 립싱크 기능도 함께 연동됩니다. 정지된 인물 사진을 움직이게 만든 뒤 대사에 맞춰 정교하게 입 모양을 맞추는 작업까지 한 번에 이어갈 수 있습니다.

다만 아직은 알파 단계인 만큼 한계도 명확합니다. 농구 경기처럼 동작이 복잡한 장면에서는 텍스트 프롬프트를 추가했을 때 오히려 움직임이 부자연스러워지는 등 정밀한 모션 제어에는 여전히 다듬어야 할 부분이 있습니다.

왜 중요한가

우리는 이번 업데이트가 AI 비디오를 단순한 재미용 도구에서 실제 편집 타임라인에 올릴 수 있는 실무 도구로 끌어올린 분기점이라고 봅니다.

창작자 입장에서 텍스트 기반 생성은 결과물을 예측하기 힘든 뽑기에 가까웠습니다. 하지만 시작 프레임을 고정할 수 있게 되면, 조명과 캐릭터 외형을 전용 이미지 생성 도구에서 완벽하게 확정한 뒤 Runway에 모션만 맡기는 협업 워크플로가 가능해집니다.

다른 경쟁 모델들이 이미지 기반 생성으로 빠르게 치고 나가는 상황에서 Runway의 이번 대응은 필수적인 수순이었습니다. 텍스트 프롬프트로 모든 것을 통제하려 들기보다 창작자들이 익숙한 이미지 파이프라인을 그대로 수용한 점은 영리한 선택으로 보입니다.

관건은 복잡한 물리 법칙과 액션을 얼마나 통제할 수 있느냐입니다. 원하는 움직임을 얻기 위해 생성 횟수를 낭비해야 하는 문제가 여전한 만큼, 향후 추가될 비디오 투 비디오 기능이 얼마나 완성도 있게 나오느냐에 따라 도구의 실질적 가치가 결정될 것입니다.