Pipio AIの「EditYourself」：言い淀みを消して発言内容も自在に改変、リップシンクも完全同期

カメラに向かって話す動画を撮影したことがある人なら、途中で一度言い淀んだだけで撮り直しになる煩わしさはよく知っているはずです。従来の編集では、噛んだ部分を切り取ると映像が不自然に飛ぶ「ジャンプカット」が発生し、それを嫌うなら撮り直すか別の映像を被せるしかありませんでした。

Pipio AI の John Flynn 氏、Wolfgang Paier 氏、Dimitar Dinev 氏、および Sam Nhut Nguyen 氏らの研究チームは、この課題を解決する動画編集フレームワーク「EditYourself」を発表しました。

文字起こしを直す感覚で動画を再構成

EditYourself の仕組みは極めて直感的です。動画の文字起こしテキスト上で不要な言葉を削除したり、新しい台詞に書き換えたりするだけで、AI が新しい音声に合わせて唇の動きや顔の表情を違和感なく再生成します。

公開されたデモでは、オバマ元大統領の演説中の言い淀みをカットした例が示されました。手動でカットすると頭の向きや表情がカクつくのに対し、EditYourself ではカット後も首の動きや表情が滑らかにつながり、編集の痕跡が残りません。

さらに「who who has…」といった吃音を自然に補正するだけでなく、話者が言っていない台詞を後から差し込んだり、文章全体を別の内容に差し替えたりしても、正確なリップシンクを保ちます。

140 億パラメータ DiT を支える二段階生成

ゼロから動画を作る生成 AI は進化していますが、既存の動画の同一性を保ちながら一部分だけを書き換える処理は極めて困難でした。EditYourself は 140 億パラメータの LTX-0.9.7 拡散トランスフォーマー（DiT）と Video-VAE をベースに採用しています。

処理は 32×32×8 圧縮の潜在空間で行われ、粗い表現でデノイズした後にアップサンプリングを行って高解像度化する 2 パス方式を採用しました。

音声と唇の同期には、音声をダウンサンプリングせず多様なフレームレートに対応できるウィンドウ型音声条件付けと二段階訓練を導入しています。さらに長尺動画での顔の崩れを防ぐため、「Forward, Backward RoPE Conditioning」と TeaCache 対応推論を組み合わせ、外見の安定性を高めました。

なぜ重要か

映像制作の現場にとって、この技術は「撮る前に台詞を完璧に仕上げる」スタイルから「まず撮影し、後から自由に直す」スタイルへの転換を意味します。言い間違えた事実の訂正やターゲット層に応じた台詞の差し替えのために、再びスタジオを抑えて演者を呼び戻すコストがゼロになります。

さらに、LLM エージェントと連携させれば、素材を渡すだけで自動的に言い淀みをカットし、不要な間を詰める編集の完全自動化も現実味を帯びてきます。

一方で、この技術の進化はディープフェイクの脅威を直接的に押し上げます。口元の不自然さや映像の継ぎ目を手掛かりに見分けることが困難になり、発言内容そのものを改変した動画が容易に作れてしまいます。制作ツールの利便性が跳ね上がるのと並行して、信頼性の高い電子透かしや来歴証明の標準化が不可欠になると考えられます。