Google 釋出 VLOGGER：一張照片配一段音訊，就能讓人物開口說話還帶手勢

以前想讓靜態照片裡的人「開口說話」，做出來的效果往往很僵硬，基本就是把嘴巴摳出來對個口型，身子和手紋絲不動。

Google Research 的研究人員最近掏出了一個叫 VLOGGER 的 AI 系統。你只要丟給它一張正面照片和一段音訊，它就能合成出一段影片：照片裡的人不僅在對口型說話，連眼神、眨眼、頭部晃動，甚至手勢和軀幹動作都給配齊了。

一張照片加段錄音，連手勢都給對上了

負責這項研究的是 Google Research 的 Enric Corona 團隊，相關成果寫在了一篇名為《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》的論文裡。

這個系統背後用的是擴散模型。研究人員把原本用來做文本生成影像的擴散技術，直接擴充套件到了影片生成領域。

更狠的是他們餵給模型的資料。團隊專門整理了一個名為 MENTOR 的龐大數據集，裡面收錄了超過 80 萬個不同人物身份、累計 2200 小時的影片，規模比以往同類資料集大了一個數量級。

有了海量資料墊底，VLOGGER 面對不同膚色、年齡、著裝和拍攝姿態時，都不需要提前針對某個人做單獨微調。

不僅是對嘴型，這次連半身都在動

以往同類模型大多依賴人臉檢測，把臉部裁切出來單獨做動畫，最後再貼回去，邊緣很容易穿幫。

作者在論文裡特意強調，VLOGGER 不用裁臉，也不會只盯嘴唇，而是直接生成包含軀幹在內的整張影像。不管是說話時的身體起伏，還是配合語氣的肢體動作，它都能算出來。

在實際測試裡，它不僅能從單張靜態圖生成播報影片，還能拿來做影片自動配音換音軌、填補影片缺失幀，或者用於低頻寬網路下的線上影片互動。

不過它現在還不是完美的。生成的影片普遍偏短，人物身後的背景基本是靜止的，人物也不能在三維場景裡走動，細看依然能挑出一些畫面瑕疵。

為什麼重要

做數字人或者虛擬主播的門檻，看起來正在被這種技術徹底踩平。以往企業要做一個像樣的虛擬講解員，要麼去棚裡動捕，要麼拿幾百張圖專門訓一個專屬小模型。

如果 VLOGGER 這種方案成熟落地，普通創作者只要手裡有一張清晰肖像和一段旁白，幾分鐘就能拼出一段帶肢體動作的講解影片，成本幾乎歸零。

對行業來說，它把虛擬形象生成的競爭焦點從「單純對準嘴唇」，直接拔高到了「連帶軀幹和手勢的自然互動」。這對線上教育、播客轉影片、遊戲 NPC 甚至低頻寬視訊通話都是利好。

但我們認為，它帶來最大的隱患依然是深偽造假。以前要偽造一段真人的動態影片，素材門檻很高；現在如果隨便一張社交媒體頭像配上仿冒錄音就能動起來，網路釣魚和虛假資訊的防範成本會大幅飆升。