본문으로 건너뛰기
IFAI

이미지·영상 생성

라이트릭스, 오디오 기반 비디오 생성 기능 공개…음악 박자 맞춰 영상 제작

게시 확산 지수 41

라이트릭스가 음성, 음악, 효과음을 입력하면 맞춤형 영상을 생성하는 기능을 선보였다. 리듬과 비트를 인식해 오디오와 정확히 싱크를 맞출 수 있어 뮤직비디오나 디지털 휴먼 제작에 유용하다. 텍스트 대신 소리가 영상의 새로운 입력값이 된 셈이다.

라이트릭스, 오디오 기반 비디오 생성 기능 공개…음악 박자 맞춰 영상 제작
이미지: x.com

지금까지의 AI 영상 제작은 텍스트로 장면을 먼저 만든 뒤 음악을 골라 박자를 맞추는 방식이 일반적이었습니다. 라이트릭스는 이 작업 순서를 뒤집었습니다.

AI 플랫폼 라이트릭스는 오디오를 입력해 맞춤형 영상을 생성하는 기능을 새롭게 선보였습니다.

음악 비트에 맞춘 자동 싱크 영상

사용자가 음성이나 음악, 효과음을 입력하면 모델이 오디오에 어울리는 영상을 바로 생성해 줍니다.

LTX에 따르면 이번 모델은 소리의 리듬과 비트를 이해하도록 설계되어, 음악의 타이밍과 템포에 맞춰 영상의 움직임을 정확하게 동기화합니다. 뮤직비디오 클립 제작은 물론, 컷 전환용 B-roll 영상이나 말하는 디지털 휴먼을 만들 때 곧바로 활용할 수 있습니다.

왜 중요한가

영상 편집자에게 화면을 비트에 맞춰 자르고 배치하는 일은 번거로운 후반 작업 중 하나였습니다. 오디오를 입력값으로 쓰게 되면 배경음악 자체가 일종의 스토리보드 역할을 하게 됩니다.

단순히 텍스트 기반 화질 경쟁에 머물지 않고, 실제 제작 과정에서 가장 손이 많이 가는 싱크 문제를 겨냥했다는 점에서 실용적인 시도라고 봅니다. 다만 박자가 복잡하거나 변칙적인 음악에서도 화면 왜곡 없이 일관성을 유지할 수 있을지가 실제 도입의 관건입니다.

출처 (1)

  1. [1]
    @LTXStudio(새 탭에서 열림)원문x.com

매일 AI 콘텐츠 픽