英Odyssey、リアルタイム対話型動画を公開：世界モデルで操作に即座反応

動画を再生しながらキーボードの矢印キーを押すと、視点がその場で変わり、映像そのものがリアルタイムに作り直される。あらかじめポリゴンで作られたゲーム画面ではなく、AIがその瞬間にゼロから描画し続けている映像です。

ロンドンを拠点とするAIスタートアップのOdysseyは、AIがリアルタイムに全編を生成する「インタラクティブビデオ」の公開研究プレビューをリリースしました。キー操作やスワイプ、ジョイスティックの入力に合わせて、視聴者が映像の中身を直接動かせる仕組みです。

40ミリ秒で反応する「バグだらけの夢」

Odysseyを立ち上げたOliver Cameron氏とJeff Hawke氏は、ともに自動運転技術の開発に携わってきた人物です。当初は映画やゲーム制作の効率化を狙ってワールドモデルを研究していましたが、その過程でまったく新しい表現手法にたどり着いたといいます。

今回のシステムは、米NVIDIAのH100 GPUを活用し、最大30fpsで映像をストリーミング生成します。ユーザーが何か操作を入力すると、40ミリ秒以内に反応して映像が変化します。

ただし、完成度としてはまだ発展途上です。周囲の景色が急に変わったり、映像がぼやけたり歪んだりすることがあります。同社自身も現在の状態を「バグだらけの夢を探索しているような感覚」と表現しており、荒削りで不安定ながらも確実に新しい体験だと説明しています。

映像の破綻を防ぐため、今回のプレビュー版は特定の現実世界データセットのみで学習させた限定モデルとなっています。同社はすでに、解像度や物理挙動の精度を高めた次世代モデルの開発を進めているとしています。

ピクサー創業者も参加、課題は計算コスト

OdysseyはこれまでにEQT Ventures、GV、Air Street Capitalなどから2700万ドルを調達しています。さらに取締役には、ピクサーの共同創業者で元ディズニー・アニメーション・スタジオ社長のEd Catmull氏が名を連ねています。

一方で最大の壁となっているのが運用コストです。同社によると、このAIを動かすためのインフラ費用は現在、ユーザー1人あたり1時間で1〜2ドルかかっています。モデルの軽量化や最適化によってコストは急速に下がっていると説明していますが、商業化に向けては重い数字です。

ワールドモデルの領域では競争も激化しています。Google DeepMindやMicrosoft、さらにはFei-Fei Li氏率いるWorld Labsなども、物理世界をリアルタイムに理解・生成するモデルの開発を急いでいます。

なぜ重要か

従来のゲーム制作では、3Dモデルを作り、テクスチャを貼り、物理エンジンで動かすという膨大な工程が必要でした。Odysseyのアプローチは、そうしたグラフィックスのパイプラインを飛び越え、ニューラルネットワークに直接インタラクティブな映像を想像させる点に面白さがあります。

現時点で一般ユーザーが実用的に楽しめる段階かというと、私たちはまだ実験作の域を出ていないと考えます。画面が不安定で酔いやすく、長時間没入できるエンターテインメントとしてはまだ課題が山積みです。

最大の懸念はやはりコストと持続性です。1時間で1〜2ドルの計算コストがかかる状態では、月額制の一般的な配信サービスやゲームとして提供するのは不可能です。入力に応じて世界を破綻させずに保ち続ける整合性の問題も、まだ根本的には解決していません。

それでも、完成形を待たずに「不完全な夢」として一般に公開した判断は賢いと言えます。DeepMindなどの巨大企業が本格的なモデルを投入してくる前に、インタラクティブビデオという新しい旗印を掲げ、クリエイターコミュニティの関心を集めることには成功しています。