Hugging Faceが「AI WebTV」公開：オープンソースモデルで自動動画配信を実現

AI WebTVは、オープンソースの生成AIモデルを連携させ、24時間途切れることなく映像を自動配信する実験的プロジェクトだ。人間が設定したテーマをもとに大規模言語モデルがカットごとのプロンプトを展開し、動画生成、フレーム補間、自動作曲を経て、リアルタイムの配信ストリームとして送り出す。

パイプラインの仕組み

システム全体はNode.jsとTypeScriptで構築されており、Hugging Face Spaces上でホストされている各種オープンソースモデルを呼び出して動作する。

最初のステップはプロンプトの自動生成だ。人間が入力した基本テーマをもとに、ChatGPTが各カットに対応する多様な動画生成用プロンプトへと展開する。

映像生成の中核を担うのは、ModelScopeをベースにしたオープンソースモデルZeroscope V2だ。まずzeroscope_v2_576を用いて576x320解像度のベース動画を生成し、同じプロンプトを使ってzeroscope_v2_XLで1024x576にアップスケールする2段階構成を採用している。

プロトタイプでは、Hugging Face Spaces上のGradioエンドポイントを@gradio/clientパッケージ経由でリモート呼び出しし、生成された映像ファイルをローカルに保存している。

生成された映像はポストプロセスへと送られる。コマ落ち感を抑えて動きを滑らかにするため、フレーム補間アルゴリズムFILMを適用する。同時に、オープンソースの音声合成モデルMusicGenでBGMを生成し、映像と合成する。

最後にFFmpegを用いて、生成された複数のmp4動画とm4a音声をプレイリスト化する。低遅延なFLV形式に変換したうえで、RTMP経由でnode-media-serverやTwitchの配信エンドポイントへ常時ストリーミング配信を行う。

生成結果と特有の課題

高解像度化とFILMによる補間によって映像の滑らかさは大幅に向上するが、モデル特有のエラーも確認されている。

特に目立つのが動きの方向性に関する不具合だ。クリップが逆再生のように動いてしまったり、プロンプトで指定した色指定が無視されたりすることがある。

また、プロンプトに含まれる単語が画面内に直接描画されてしまう現象も発生する。例えばllamaと入力すると、アルパカだけでなく炎に包まれたllamaという文字そのものが描画されたり、IMAXやカメラの機種名を指定するとカメラ本体が映像内に登場してしまう。

これを防ぐためには、カメラの移動方向や速度、被写体の向きを具体的に指示し、複数カット間で同じ設定キーワードを維持することが推奨されている。

視聴と構築の方法

実際の配信はHugging Face上のAI WebTV Spaceで確認でき、モバイル端末向けにはTwitchのミラーストリームも用意されている。

自身で同じパイプラインを構築する場合は、利用されているZeroscopeやMusicGenのGradio Spaceを自身のアカウントに複製して運用することが推奨される。公開Spaceをそのまま使うとキュー待ちや停止が発生しやすいためだ。

なぜ重要か

AI WebTVは、商用のプロプライエタリなモデルに頼ることなく、コミュニティで利用可能なオープンソースモデルの組み合わせだけで完全自動の動画配信システムが組めることを実証した。自動動画生成パイプラインやインタラクティブな配信システムを検討している開発者にとって、現実的なリファレンス実装となる。

ただし、現状はあくまで技術デモの域を出ない。各クリップは短くストーリーの一貫性は希薄であり、複数モデルを直列に回す計算コストや配信の安定性を考えると、実用的な番組配信に仕立てるにはまだ多くの課題が残されている。