Lightricks、音声から動画を生成する新機能を提供　楽曲のビートに同期

動画制作では通常、まずプロンプトで映像を生成し、その後にBGMを探してタイミングを合わせる作業が発生します。Lightricks はその制作フローを逆転させようとしています。

AI クリエイティブプラットフォームの Lightricks は、音声を起点に映像を生成できる新機能を公開しました。

音のビートに合わせて映像を生成

この機能では、ユーザーが音声、音楽、効果音を入力すると、その音に合わせた動画が出力されます。

LTX によると、モデルはリズムや拍子を理解できるよう設計されており、音のタイミングに合わせて映像の動きを正確に同期させることが可能です。ミュージックビデオの制作や、動画の隙間を埋める素材映像、音声を伴うデジタルヒューマンの生成などに活用できます。

なぜ重要か

クリエイターにとって、映像を音のビートに合わせる作業は時間のかかる工程でした。音声をそのまま入力ソースにできるようになったことで、音源自体が実質的な絵コンテとして機能するようになります。

テキストからの動画生成で画質を競うだけでなく、編集現場で最も面倒な「音と映像の同期」という実用的な課題に踏み込んだ点は賢いアプローチです。複雑なテンポの楽曲でどれだけ破綻せずに追従できるかが、今後の実用性を左右しそうです。