本文へスキップ
IFAI

画像・動画生成

快手、動画生成「Kling 2.6」に音声制御と高精度モーション操作を追加

公開 拡散指数 47

快手は動画生成モデル「Kling 2.6」に音声制御とモーション制御の大型アップデートを実装した。自分の音声を登録して複数カットで一貫したキャラ声を出せるほか、対話や歌にも対応。武術やダンスなど激しい動きでも手の崩れを抑え、唇の同期も自然に保てる。

快手、動画生成「Kling 2.6」に音声制御と高精度モーション操作を追加
画像:the-decoder.com

AI動画生成ツールでショートフィルムを作ろうとすると、カットが変わるたびに登場人物の声が別人に変わってしまったり、口の動きと音声がズレたり、手がボヤけて崩れたりといった問題に必ず直面します。

快手(Kuaishou)が提供する動画生成モデル「Kling 2.6」の最新アップデートは、まさにこの制作現場の最大の弱点を突いてきました。音声制御(Voice Control)機能と、より精密なモーション制御(Motion Control)の2つが新たに追加されています。

キャラクターの声を統一するカスタム機能

Kling 2.6は先日、GoogleのVeo 3やSora 2のように、映像と同期した効果音や会話、BGMをまとめて生成する機能を導入していました。

今回の音声制御はそこからさらに一歩踏み込んでいます。日常の会話やナレーションだけでなく、歌唱やラップ、周囲の環境音まで対応しており、テキストのみ、または画像とテキストの組み合わせから生成できます。

最大の特徴は、カスタム音声の学習機能です。ユーザーが自分の音声データをアップロードしてモデルを学習させたり、音声ファイルを直接指定して動画と紐づけたりできます。これにより、複数のカットにまたがっても同じ声で話し続けるキャラクターを作成できるようになり、連続ドラマや連載コンテンツの制作現実味がぐっと増しました。

手ブレを抑え、武術やダンスの動きに追従

もうひとつの目玉がモーション制御の刷新です。AI動画が最も苦手としていた手足の細かな描写とリップシンクの精度が大幅に引き上げられました。

公式発表によると、格闘技やダンスといった複雑で素早い全身の動きでも破綻しにくくなっています。ユーザーは3秒から30秒のモーション参考動画をアップロードし、その骨格の動きを維持したまま、テキストプロンプトで背景や衣装などの詳細を指定して動画を生成できます。

利用料金も競争力があります。自社プラットフォームのクレジット制に加えて、Fal.aiやArtlist、Media.ioといったサードパーティ経由でも提供されており、API価格は1秒あたり約0.07ドルから0.14ドルです。

なぜ重要か

今回のアップデートは、単なる画質の向上競争から「実用的な制作ワークフローの完結」へ舵を切った点で、非常に賢いアプローチだと私たちは考えています。

動画クリエイターやマーケターにとって、声の統一とリップシンクの一致は必須条件でした。これまでのように動画生成、音声クローン、口パク合わせのツールを何重にも跨ぐ必要がなくなり、1つのツール内で完結できる価値は極めて大きいです。もしショートドラマや製品紹介動画を作っているなら、すぐに試す価値があります。

業界全体で見れば、快手が運営する世界有数のショート動画アプリ「Kwai」が持つ膨大な実写データが強烈な武器になっています。映像、音声、人間のダイナミックな動きがセットになった学習データを自前で無尽蔵に抱えている点は、Runwayなど専業ベンダーに対する大きな優位性です。1秒あたり約10円台という攻撃的なAPI価格も、競合各社に強いプレッシャーを与えるはずです。

一方で懸念もあります。生成コストがここまで下がると、SNS上が量産型の粗製乱造コンテンツで溢れかえるリスクが高まります。制作の手間が減った分、作り手にはツール任せではない演出力やストーリーの差別化が一段と厳しく問われることになりそうです。

情報源 (2)

  1. [1]
    reddit.com(新しいタブで開きます)原文reddit.com
  2. [2]

毎日のAIピックアップ