Pika、音声駆動パフォーマンスモデルを発表：超リアルな表情を6秒以内に高画質生成

Pikaは、音声に合わせて極めてリアルな表情をほぼリアルタイムで生成する、新しい「オーディオ駆動型パフォーマンスモデル」を発表しました。

6秒以内でHD動画を生成、速度とコストは20倍改善

Pikaによると、この新モデルは動画の長さやスタイルを問わず、HD解像度の映像を6秒以内で生成できます。

さらに、処理速度を従来と比べて20倍高速化し、コストも20分の1に削減したとしています。

この機能は近日中にPikaのソーシャルアプリへ導入される予定です。同社は、単なる動画制作ツールにとどまらず、より多くの人が日常的に交流するための手段にしたいと説明しています。

なぜ重要か

音声をもとに表情やリップシンクを生成するツールは、処理に長い時間がかかるか、表情が不自然になりがちでした。任意の長さのHD動画が6秒以内で手に入るなら、一般ユーザーが音声メッセージ感覚で手軽に動画を作り合えるようになります。

業界の視点では、推論速度とコストを20倍改善したという点が大きな意味を持ちます。モバイルアプリ上で多数のユーザーに動画を生成させるには、サーバー費用の大幅な削減が欠かせないためです。

ただし、「どんな長さでも6秒以内」というアピールは常識外れにも見えます。実際の仕上がりや表情の自然さがどこまで維持されているかは、アプリでの正式提供後に検証する必要がありそうです。