LivePortrait：單張人像秒變動態影片，RTX 4090 單幀僅 12.8 毫秒

LivePortrait 是一個能讓靜態頭像隨影片動起來的開源動畫框架。只要給一張人物或動物照片，再加上一段驅動影片，它就能把影片裡的面部表情和頭部姿態精準遷移到靜態影像上，直接生成連貫的動態影片。

專案支援寫實照片、油畫、雕像和 3D 渲染等多種風格。除了人類肖像，團隊還用動物資料進行了微調，貓、狗甚至大熊貓的照片也能被人臉影片準確驅動。

棄用 Diffusion，靠隱式關鍵點做到極致速度

目前業內做人臉動畫大多跟隨主流的擴散模型路線，生成質量不錯，但運算開銷大、推理速度慢。LivePortrait 沒有走這條路，而是深入挖掘了基於隱式關鍵點的技術框架。

為了兼顧真實感與泛化能力，團隊將訓練資料擴充套件到了大約 6900 萬個高質量影片幀，並採用影像與影片混合訓練的策略。同時，他們發現緊湊的隱式關鍵點能很好地對應到面部動作單元。

團隊由此設計了一個拼接模組和兩個重定向模組。這兩個模組僅通過極小的 MLP 實現，幾乎不增加計算負擔，卻大幅提升了對五官細節的控制力。

在生成速度上，基於 PyTorch 並在單張 RTX 4090 顯示卡上測試，LivePortrait 的單幀生成時間僅需 12.8 毫秒，表現出遠超傳統擴散模型的計算效率。

怎麼跑起來

目前 LivePortrait 的推理程式碼與模型權重已經全部開源，放在了 GitHub 的 KwaiVGI 組織名下，同時在 Hugging Face 上也提供了線上體驗的 Demo。

整個訓練分為兩階段：第一階段從頭訓練基礎模型的外觀與動作提取器、變形模組和解碼器；第二階段凍結基礎結構，單獨最佳化拼接和重定向模組。對普通開發者來說，直接拉取官方權重即可進行本地推理。

為什麼重要

做影片播客、虛擬主播或數字人互動的開發者最應該關注這個專案。以往 Diffusion 架構的數字人方案很難做到低延遲甚至即時互動，而 LivePortrait 把單幀延遲壓到了 12.8 毫秒，讓低成本、即時的面部驅動真正具備了工程落地的可行性。

我們認為它的聰明之處在於沒有盲目跟風 Diffusion，而是用工程最佳化和超輕量 MLP 重新發掘了隱式關鍵點的潛力。對於算力有限但對流暢度和控制精度有硬性要求的應用場景，它是目前同類開源工具裡極具競爭力的選擇。