Klingが「3D Move」を発表：キャラへの動作移植と自由なカメラワークを両立

従来の AI モーション移植ツールを触ったことがある人なら、その限界をよく知っているはずです。元動画のダンスを別キャラに踊らせることはできても、カメラを引いたり被写体の周りをぐるりと旋回させようとした途端、手足がねじれて画面が崩壊してしまいます。

これまでの技術は、どうしても元動画の撮影画角に縛られていました。

Kling チームは「3D Move（論文上の名称は 3DiMo）」と呼ばれる 3D 知覚モーション制御技術を発表しました。人物の動きを新キャラクターに移植しながら、回転やズーム、見下ろし旋回といった自由なカメラワークを空間的な破綻なしに同時実行できるのが最大の特徴です。

骨格メッシュに頼らない暗黙的モーション制御

OneAnimate や Scale をはじめとする従来のモーション移植ツールは、二次元の姿勢推定か、SMPL のような明示的な 3D 骨格モデルに依存してきました。

二次元ポーズでは元動画の視点に動きが固定されてしまい、新しいカメラアングルを作れません。一方、明示的な 3D 骨格は奥行きの曖昧さや不自然な挙動を含んでおり、これを制約として強く押し付けると、動画生成モデルが本来持っている空間認識力を殺してしまいます。

3D Move の解決策は実にスマートです。外部の骨格を押し付けるのではなく、視点に依存しない「暗黙的モーション表現」を採用しました。

研究チームはモーションエンコーダを動画生成器と共同学習させ、駆動用動画をコンパクトなモショントークンに変換してクロスアテンションで注入します。単一視点だけでなく、マルチアングルや移動カメラの動画データを用いて訓練することで、モデル自身に 3D 空間での整合性を学習させました。

従来の 3D 骨格モデル（SMPL）は初期学習の補助としてのみ使い、学習が進むにつれてその重みをゼロへと徐々に減衰させています。つまり、補助輪を外してモデル自身に本物の空間感覚を獲得させたわけです。

指先のニュアンスからアニメキャラまで対応

公開されたデモでは、破綻しやすい指先の細かな動きや顔の表情まで高い精度で追従しています。

実写の人物だけでなく、2D アニメ調のキャラクターや 3D CG キャラクターへの移植にも対応しています。テキスト指示によってカメラを自在にドリーやオービットさせることが可能です。

印象的なアニメの作例では、カメラが下から上へと煽るように動く際、前景に桜の枝が自然に描き込まれる場面も見られました。単に人物を切り貼りするのではなく、モデルがシーン全体の立体構造を把握している証拠と言えます。

ただし、現時点で公開されているのは技術論文のみで、Kling の製品版への実装時期やコードの公開予定については明らかにされていません。

なぜ重要か

生成 AI 動画において、「被写体の緻密な動き」と「自由なカメラワーク」は常にトレードオフの関係にありました。カメラを動かそうとすれば被写体が歪み、動きを忠実に再現しようとすれば定点カメラに縛られていたのです。

3D Move が示したのは、大規模な動画生成モデルの中に眠っている空間理解のポテンシャルを、外部の硬直した骨格で邪魔せずに引き出すという賢いアプローチです。暗黙的表現とアニール処理の組み合わせは、技術的な筋が非常に通っています。

これが映像作家や個人クリエイターの手元に届けば、絵コンテの自由度は飛躍的に上がります。定点で撮ったスマホ動画ひとつあれば、映画のワンシーンのような回り込みショットを生成できるようになるからです。

ただし、現段階ではあくまで論文発表にとどまります。この高度な 3D 制御を、どれだけ計算コストを抑えて一般ユーザーが日常的に使える機能として実装できるかが、Kling チームの次の勝負どころになるはずです。