KuaishouがKling Omni Director公開:参考動画のカメラワークをそのまま複製
Kuaishou(快手)のKling研究チームが「Omni Director」の研究プレビューを公開した。テキスト指示に頼らず、参考動画からカメラの動きやカット割り、バレットタイムなどの撮影効果を抽出して静止画から動画を生成できる。現在はまだ一般公開されていない。
Kuaishou(快手)のKling研究チームが「Omni Director」の研究プレビューを公開した。テキスト指示に頼らず、参考動画からカメラの動きやカット割り、バレットタイムなどの撮影効果を抽出して静止画から動画を生成できる。現在はまだ一般公開されていない。
ASASR は FLUX.1-dev をベースにしたオープンソースの画像超解像ツールで、生成系アップスケーラー特有の不自然な幻覚ディテールを抑えた 4 倍高解像度化を実現します。敵対的 Sobolev DPO とデュアル LoRA 推論を採用。コードと重みが公開され、Hugging Face Spaces で Web デモも提供されています。
Kling が 3D 知覚モーション制御技術「3D Move(3DiMo)」を発表した。動画内の人物の動作を新キャラに移植しつつ、回転やズームなどカメラ視点も同時に破綻なく制御できる。手や指の細かな動きの再現性も高い。現在は技術論文のみが公開されている。
快手は動画生成モデル「Kling 2.6」に音声制御とモーション制御の大型アップデートを実装した。自分の音声を登録して複数カットで一貫したキャラ声を出せるほか、対話や歌にも対応。武術やダンスなど激しい動きでも手の崩れを抑え、唇の同期も自然に保てる。
Kling AIはKling VIDEO 2.6に強化されたモーションコントロール機能を実装したと発表した。3〜30秒のリファレンス動画を読み込ませることで、武術やダンスなどの激しい全身アクションや手の動き、表情を崩さずに再現でき、プロンプトでの微調整にも対応する。
Kling AIは初となるネイティブ音声生成対応の動画生成モデル「VIDEO 2.6」を発表した。映像と整合性の取れた音声を同時に出力可能で、より豊かなマルチメディア表現を実現する。あわせてクリエイターとのコラボ短編映像も公開された。
快手傘下の動画生成AI「Kling AI」が短編作品コンテストの募集を開始した。賞金総額は4.2万ドルで、入選作にはクレジット付与のほか、カンヌのMIPCOMや東京国際映画祭での上映機会が提供される。応募締め切りは10月6日。
Krea AIは動画生成モデル「Kling 2.5」の導入を発表した。100億フレームを超えるデータで学習され、複雑な物理挙動や人物の動作を高精度に再現できる。短い動画クリップの生成時間は10秒未満に短縮され、高品質なプロモーション動画制作のハードルが一段と下がった。
Kling AIは新機能「Avatar」を発表した。定評のあったLip Sync(口パク)機能がアップグレードされ、Avatarモジュール内に統合された。より自然な人物動画の生成が可能になる見込みだが、リリース初期は利用枠が限定されている。
Kuaishouは動画生成プラットフォーム「Kling AI 1.0」を世界向けに公開した。メールアドレスのみで登録でき、1日あたり66クレジットを無料で付与する。テキストや画像からの動画生成に対応し、カメラワーク調整も可能。限定公開が続くSoraに対抗し、一般向けに広く開放した。
Kuaishouの研究チームが肖像動画生成フレームワーク「LivePortrait」をオープンソース公開しました。拡散モデルではなく暗黙的キーポイント手法を採用し、人物や動物の静止画を高精度かつRTX 4090で毎フレーム12.8ミリ秒という速度で動かせます。