動画に直接話しかけて割り込める新媒体、対話型デモ「ACTx486」公開

スマートフォンで動画を見ているとき、体験は常に一方通行です。聞き慣れない専門用語が出てきても一時停止して調べるしかなく、出演者に質問を投げかけることなどできません。

既存の動画を対話可能な新媒体へと変える研究デモ「ACTx486」が公開されました。収録済みのポッドキャスト映像を、こちらの声を聞き取り、応答し、文脈に合わせて変化するメディアへと作り変える試みです。

画面をタップして割り込み、出演者がその場で答える

今回のデモでは、誰もが知るイーロン・マスク氏らのポッドキャスト映像が題材として使われました。ソファでスマホを見ている視聴者が、再生中に画面をタップして自由に口を挟みます。

火炎放射器の仕組みを尋ねると、画面内のマスク氏がこちらを向いて解説を始め、発話のタイミングに合わせて図解がリアルタイムに描かれます。宇宙船スターシップを分解して見せてほしいと頼めば、空間内に3Dモデルが配置され、別の質問を重ねてもそのオブジェクトはシーン内に残り続けます。

さらに、出演者の声色や個性を保ったまま別の言語で話させたり、スマホのインカメラを使って視聴者自身をスタジオの映像内に登場させたりすることも可能です。指示した変更点はそのまま維持され、対話が一段落すると、視線や会話のテンポを崩すことなく元の収録映像へスムーズに戻ります。

驚きの仕上がり、ただし完全なリアルタイムではない

驚くような体験ですが、現時点で誰でも手元で即座に動かせるわけではありません。

開発チームによると、ACTx486は情報の選別、調査、台本作成、映像生成という全工程を実際に行っており、1回のやりとりに数分かかります。そのため、今回公開されたデモはすべて事前に生成されたものです。

チームは理想的な応答時間を6秒未満と見据えていますが、現状はまだその水準に届いておらず、改善に向けた模索を続けています。

また、実在する人物の顔や声を使っているため、本人の公開発言に基づいてのみ回答し、私的・政治的な質問は断る制約を導入しました。画面上でも、元の映像とAI生成部分が切り替わる瞬間をラベルで明示する仕組みを設けています。

なぜ重要か

ACTx486の着眼点で特に優れているのは、「真っ白なチャット画面から始めさせない」という設計思想です。

何でも自由に生成できるAIは可能性が広がる一方で、プロンプトを考える負担をユーザーに丸投げしがちです。既存の動画を土台にすることで、全体の筋立てやリズムは元のコンテンツに任せ、視聴者は気になった部分だけ介入する「マイクロディレクター」として気楽に関わることができます。

もし目標である6秒未満の応答が実現すれば、ポッドキャストや教育系動画のあり方は根本から変わる可能性があります。聞き流すだけだった過去のアーカイブが、自分専用に掘り下げられる双方向の空間へと生まれ変わるからです。

もっとも、技術的にも倫理的にもハードルは残されています。数分かかる生成コストの削減はもちろんですが、実在する著名人の口から新しい言葉を語らせる仕組みは、ディープフェイクの危険性と常に隣り合わせです。デモを公開して安全対策をオープンに議論しようとする姿勢は評価できますが、実用化への道のりはまだ手探りと言えます。