GPT-4Vで再現：YouTuberがGoogle「Gemini」の演出動画を実機で実証

YouTuberのGreg Technology氏がオープンソースとして公開した「ChatGPT Video」は、Webカメラの映像と音声をリアルタイムでOpenAIのGPT-4Vに渡し、対話型のマルチモーダル体験を個人PC上で再現するツールです。

開発のきっかけは、物議を醸したGoogleのGemini Ultraのプロモーション動画でした。Googleの映像はAIがリアルタイムに動画を見て瞬時に応答しているように見せていましたが、実際には静止画の入力とテキスト指示、事後アフレコで編集された演出であることが判明しました。このツールは、同じ体験を現行のGPT-4Vを使って本当に動く形で実装したものです。

何ができるか

カメラの映像を取り込みながらGPT-4Vに画像を送り、ChatGPTの音声機能のような自然なトーンで返答させることができます。

デモでは、Googleの動画で演じられていた場面の多くがそのまま再現されています。カメラに向かって手を出せばじゃんけんの勝敗をリアルタイムに判定し、紙に水鳥のイラストを描いていくと途中で「アヒル」と言い当て、絵文字の意味を質問すれば即座に解説します。M2 MacBook Air上でテストした海外メディアによると、数分でセットアップが完了し、ジェスチャー認識だけでなくガラスのコーヒーカップや本をかざすだけでタイトルと著者名まで正確に読み取ったと報告されています。

動かし方

ソースコードはすべてGitHub上で公開されており、誰でも自由に利用できます。

ハイスペックなGPUマシンや複雑なローカルモデルの構築は不要です。MacBookなどの一般的なノートPCにコードを落とし、自分のOpenAI GPT-4V APIキーを設定するだけで動作します。

大手企業のCMのような滑らかなUIはありませんし、APIを経由するため数秒の応答ラグは生じます。しかし、静止画を切り貼りした事後編集ではなく、真の意味で「リアルタイムに動いている」点が本家プロモとの決定的な違いです。

なぜ重要か

カメラを使ったマルチモーダルアシスタントを作りたい開発者にとって、順番待ちをすることなく手元ですぐ試せる貴重なベース実装です。

巨大テック企業が過剰な編集動画で実力以上に見せかけようとする一方で、市販のAPIを組み合わせた個人開発者が実際の動作環境を形にしてしまいました。私たちは、マルチモーダルの進化がすでにギミックの段階を終え、実用的な実装フェーズに入っていることを示す好例だと考えています。