阿里釋出肖像影片框架 EMO：一張圖一段音訊，就能讓人物自然開唱

如果給一張照片配上一段快節奏的說唱，傳統工具做出來的影片往往像貼圖在機械地動嘴皮子，眼神呆滯，連動作都跟不上拍子。

研究團隊釋出了一個名為 EMO（Emote Portrait Alive）的音訊驅動人像影片生成框架。它只用一張單人靜態肖像照和一段音訊，就能直接生成表情生動、動作自然的動態影片，甚至還能根據音訊長度生成任意時長的內容。

告別木偶嘴，讓肖像真正「活」過來

以往的音訊驅動影片往往依賴 3D 面部網格或骨骼關鍵點做中介，動作容易僵硬，遇到大幅度頭部晃動就容易崩壞。

EMO 走的是一條基於擴散模型的直接端到端路徑，主要分為兩階段。

第一階段是幀編碼，通過名為 ReferenceNet 的模組從參考影像和動作幀中提取人物特徵，確保人臉不會走樣。

第二階段則是擴散去噪過程。預訓練的音訊編碼器提取出聲音特徵，結合面部掩碼和多幀噪聲輸入骨幹網路。

在骨幹網路內部，團隊設計了兩種注意力機制：Reference-Attention 負責鎖死人物身份一致性，Audio-Attention 則專門負責把聲音細節對映到面部肌肉和動作上。最後配合時間模組，精準調整動作速度和節奏。

從官方放出的演示來看，這套機制能敏銳捕捉聲音裡的細微音調起伏。

即使是極快節奏的說唱歌詞，畫面中的人物也能跟上節奏，而且嘴型、眼神和頭部擺動非常協調。除了普通講話，唱歌、高音吼叫甚至多語言發音都能處理。

它吃進的參考圖也不挑食。無論是歷史老照片、經典油畫，還是 3D 模型渲染圖，甚至是 Sora 等 AI 生成的女性肖像，都能被一段音訊驅動起來。

為什麼重要

我們認為，EMO 最讓人眼前一亮的地方，在於它終於打破了「AI 說話頭就是動嘴皮」的木偶感。傳統技術做數字人總是避不開中間代理特徵的損耗，而 EMO 依靠 Diffusion 和雙注意力機制，直接把聲學特徵變成了富有情緒張力的面部表演。

對於創作者和遊戲、影視團隊來說，這種能力的落地門檻非常低。只要一張立繪或者角色原畫，配上一段多語言配音，就能直接生成帶情緒的獨白或對白短片，不再需要昂貴且繁瑣的面部動捕裝置。

但它也存在顯而易見的隱患。這種極高保真度、只需要一張照片就能偽造真情實感說話或唱歌的技術，毫無疑問會進一步加劇 Deepfake 氾濫和身份濫用的風險。名人和普通人的肖像被拿去配合偽造音訊說話的成本，看起來已經被拉到了最低點。

整體來看，EMO 證明了音訊特徵本身就足以作為驅動影片畫面的高維控制訊號。這會逼著現有的數字人公司和虛擬主播方案快速跟進端到端擴散路線，那種死板的面部繫結技術，可能很快就要被徹底淘汰了。