Lightricks 推出音频转视频功能:听懂音乐节拍,用声音直接生成画面
Lightricks 推出音频转视频功能,允许用户输入语音、音乐或音效生成对应视频。模型能理解节奏与节拍,实现画面与声音精准卡点,可用来制作音乐视频、素材和数字人。这意味着声音也能直接充当画面的分镜脚本。

过去剪视频,大家习惯先靠提示词生成画面,再去曲库里费劲扒拉音乐来卡点。现在 Lightricks 想把这个顺序倒过来。
AI 创意平台 Lightricks 推出了一项音频转视频功能,让声音直接变成生成画面的主导者。
让画面跟着声音卡点
用户可以直接输入一段语音、音乐或音效,模型会根据音频内容自动生成匹配的视频。
据 LTX 介绍,该模型能够理解声音中的节奏和节拍,从而确保生成的画面动作在时机上与声音精准卡点。这项能力可以直接用来制作音乐视频、补全 B-roll 素材,或者生成动作与语调一致的数字人。
为什么重要
对创作者来说,卡点和对齐口型一直是最花时间的繁琐工序。现在把音频作为输入源,等于让一段旋律直接充当了分镜脚本,大幅降低了短视频和配乐片段的制作门槛。
我们认为,Lightricks 的聪明之处在于没有继续在单纯的文生视频赛道上硬卷画质,而是切入剪辑流程里最痛的音画同步环节。不过,模型在面对节奏复杂的曲风时能否保持画面连贯、不出现抽搐,依然需要在实际工作中检验。
来源 (1)
- @LTXStudio(在新标签页打开)原文x.com