用 GPT-4 實測：博主復現 Google 涉嫌剪輯造假的 Gemini 演示

Greg Technology 開源的這套 ChatGPT Video 工具，能把你的攝像頭畫面和語音即時接入 OpenAI 的 GPT-4V，在本地電腦上實現端到端的多模態影片互動。

它的初衷是為了驗證 Google 在宣傳片裡演示的場景究竟能不能成真。此前 Google 釋出的 Gemini Ultra 演示影片展現了極其流暢的即時視覺反饋，但隨後被證實是用靜態截圖拼接、放慢處理並後期配音合成的宣傳素材。Greg Technology 做出的這套工具，就是用現有的 GPT-4V 介面，把這套原本被質疑為畫餅的體驗真正跑在現實中。

它能做什麼

這套工具把即時的影片流切片與 GPT-4V 的視覺識別能力接在一起，同時配合類似 ChatGPT 官方語音的自然語調進行對話反饋。

在演示中，它成功復刻了 Google 影片裡的幾項核心場景。你可以對著攝像頭做出各種手勢，它能即時識別並和你玩石頭剪刀布；你可以在紙上畫出一隻水面上的鴨子，它能隨著筆畫逐步猜出你畫的是什麼；你還能向它展示不同的表情符號和紙面謎題，它都能即時看懂並開口作答。

有外媒記者在搭載 M2 晶片的 MacBook Air 上進行了實測，只需幾分鐘就配置完成並順利執行。在實際測試裡，它不僅能靈敏識別手勢，還能一眼認出桌上的玻璃咖啡杯，甚至能看清鏡頭前一本書的封面，準確讀出書名和作者。

怎麼跑起來

目前該專案的全部程式碼已經公開發布在 GitHub 上，任何人都可以免費下載使用。

它的部署門檻非常低，不需要專門的高效能顯示卡或複雜的本地大模型環境。你只需要一臺普通的筆記型電腦（例如 MacBook Air），拉取 GitHub 上的程式碼庫，並填入你自己的 OpenAI GPT-4V API 金鑰即可啟動。

雖然這個第三方介面的互動設計不像大廠商業演示那樣光鮮平滑，GPT-4V 在處理每一幀時的反應也帶有幾秒的正常網路延遲，但它展示的完全是沒有經過後期加速或靜態圖剪輯的真實推理過程。

為什麼重要

如果你是想做多模態應用的開發者或硬體創客，這個開源指令碼非常值得拉下來看一看。它證明了不需要等大廠擠牙膏式的內測資格，只用現有的 GPT-4V 介面加上簡單的影片流處理，就能搭出一套具備可用性的即時視覺助手雛形。

我們認為，這個專案的價值在於撕掉了商業宣傳片的過度包裝。當大公司還在用精修剪輯的短片展示所謂的下一代全模態時，社群開發者已經用現成的工具把真實能力擺在檯面上了。它也清楚地顯示出，至少在當前的視覺理解和多模態落地能力上，OpenAI 的底座依然走在最前面。