Pikaが新機能「Lip Sync」を公開、ElevenLabs連携で口パクと音声を同期

AIが生成した動画を見ていると、ある違和感に気づくはずです。登場人物は決まって口を閉じており、話そうとした瞬間に低予算の人形劇のような不自然な動きになってしまうという点です。

AI動画生成プラットフォームを手がけるPikaが、この課題を解消する新機能「Lip Sync」を発表しました。音声生成AIのスタートアップであるElevenLabsと提携し、動画内のキャラクターに音声と同期した口の動きを直接付与できるようになります。

この機能はテキストからの音声生成だけでなく、ユーザー自身が録音した音声トラックのアップロードにも対応しています。キャラクターに言わせたいセリフを入力して声質を選ぶか、自分の声を吹き込めば、台詞のテンポに合わせて唇のアニメーションが自動で生成されます。

現在は早期アクセス段階として提供されており、利用できるのは年額一括696ドル（月額換算58ドル）のPika Pro契約者、またはDiscord経由の招待制プログラム「Super Collaborators」のメンバーに限定されています。

物語動画の大きな壁を取り払う試み

これまで、AI生成キャラクターに自然な発話をさせるには、動画を一度書き出した上でサードパーティ製ツールを組み合わせるという煩雑な後処理が必要でした。その仕上がりは、どこかモンティ・パイソンの切り絵アニメを思わせるぎこちなさが残るのが常でした。

Pikaがこれをネイティブ機能として組み込んだことは、AIによる長編ナラティブ作品制作への大きな前進といえます。映像の質感や物理シミュレーションのリアリズムではOpenAIのSoraや競合のRunwayに及ばない部分があるものの、実用的な演出ツールとしては先行した格好です。

競合の動きも活発です。Runwayも同週、動画内の異なる要素に最大5方向の動きをつけられる「Multi Motion Brush」に領域自動検出機能を追加し、手作業で塗る手間を省けるようにしました。Pikaにもキャンバス拡張や要素編集の機能はありますが、ブラシによる細かいモーション制御ではRunwayに一歩譲ります。

一方で、学習データを巡る懸念も再燃しています。AI認証非営利団体Fairly Trainedの創設者で元Stability AI幹部のEd Newton-Rex氏は、Pikaがどのようなデータでモデルを訓練したのかをX上で問い質しました。さらにハリウッドでは、タイラー・ペリー監督がSoraの映像を見て雇用喪失への懸念から8億ドル規模のスタジオ拡張計画を一時凍結するなど、業界の波紋は広がっています。

なぜ重要か

私たちは、Pikaのアプローチを極めて現実的で賢い戦術だと評価しています。

どれほど精緻でも一般開放されていないSoraのデモを眺めるより、制作現場で今すぐ使えるワークフローを提供する方がクリエイターにとっての価値は遥かに大きいからです。ショートドラマや解説動画を制作するインディー制作者にとって、複数ツールをまたぐ手間が省ける恩恵は小さくありません。ただし、年額約700ドルという初期投資は個人にとってまだハードルが高く、業務で直接収益化できるプロ向けの価格設定と言えます。

業界全体で見れば、AI動画の競争軸が「単なる画質のリアルさ」から「音声を含めた演出パイプラインの統合」へと移りつつあることを示しています。自社でゼロから音声合成を開発せず、実績のあるElevenLabsと組んだ判断も賢明です。外部依存の高さや学習データの透明性という課題は残るものの、AIキャラクターが沈黙を破った意義は小さくありません。