跳到正文
IFAI

AIGC

Lightricks 推出音频转视频功能:听懂音乐节拍,用声音直接生成画面

首次发布 传播指数 41

Lightricks 推出音频转视频功能,允许用户输入语音、音乐或音效生成对应视频。模型能理解节奏与节拍,实现画面与声音精准卡点,可用来制作音乐视频、素材和数字人。这意味着声音也能直接充当画面的分镜脚本。

Lightricks 推出音频转视频功能:听懂音乐节拍,用声音直接生成画面
图:x.com

过去剪视频,大家习惯先靠提示词生成画面,再去曲库里费劲扒拉音乐来卡点。现在 Lightricks 想把这个顺序倒过来。

AI 创意平台 Lightricks 推出了一项音频转视频功能,让声音直接变成生成画面的主导者。

让画面跟着声音卡点

用户可以直接输入一段语音、音乐或音效,模型会根据音频内容自动生成匹配的视频。

据 LTX 介绍,该模型能够理解声音中的节奏和节拍,从而确保生成的画面动作在时机上与声音精准卡点。这项能力可以直接用来制作音乐视频、补全 B-roll 素材,或者生成动作与语调一致的数字人。

为什么重要

对创作者来说,卡点和对齐口型一直是最花时间的繁琐工序。现在把音频作为输入源,等于让一段旋律直接充当了分镜脚本,大幅降低了短视频和配乐片段的制作门槛。

我们认为,Lightricks 的聪明之处在于没有继续在单纯的文生视频赛道上硬卷画质,而是切入剪辑流程里最痛的音画同步环节。不过,模型在面对节奏复杂的曲风时能否保持画面连贯、不出现抽搐,依然需要在实际工作中检验。

来源 (1)

  1. [1]
    @LTXStudio(在新标签页打开)原文x.com

每日 AI 内容精选