美團開源 LongCat Avatar 1.5：一張圖加音訊，8 步生成多人互動數字人

很多人對美團的印象還停留在外賣送餐和團購打折，但他們的技術團隊最近在開源社群裡頻頻發力。這次他們扔出來的，是一個能把靜態照片直接做成說話影片的狠角色。

美團正式開源了數字人影片生成模型 LongCat-Video-Avatar 1.5。距離他們釋出第一版才過去幾週，這次更新直接把重心放在了實用和商用上。用法依然很簡單，只要給一張人物參考圖加上一段音訊，模型就能讓畫面裡的人自然開口說話。

模型和程式碼已經全部開放，不僅有完整的技術報告，INT8 量化後的權重總大小為 16GB，開發者可以直接下載部署到本地機器上跑。

不止嘴能對上，還分得清誰在說話誰在聽

傳統的數字人工具最讓人出戲的，要麼是嘴形和發音對不上像腹語術，要麼就是肢體僵硬、表情像個塑膠假人。要是畫面裡出現兩個人，常常還會變成所有人一起盲目動嘴。

LongCat 1.5 在底層把音訊編碼器從 Wav2Vec2 升級成了 Whisper-large。大引數量的多語言先驗讓它能精準抓取音素和發音節奏，不僅唇形對得準，面部表情、脖頸扭動甚至肢體動作也能隨著說話自然協調起來。

更有意思的是美團在訓練資料上花的心思。他們特意補充了大量靜默資料和多人資料。模型學會了識別誰才是當前正在開口的人，另一個人在聽話時會保持自然的微表情和眼神交流，不會跟著瞎動嘴。

為了解決 AI 影片裡常見的手部畸變和畫面跳幀，團隊引入了逐幀級的 GRPO 偏好對齊，配合手部檢測機制壓制手部崩塌。不僅是寫實真人，就算是動漫角色或者動物形象，它也能按對應的風格唱唸做打。

蒸餾到 8 步生成，把推理速度拉快 15 倍

效果再好，如果生成一條影片要等半小時，在實際業務裡就毫無用處。美團這次最硬核的動作，是把推理成本給打了擊墜。

他們利用 DMD 蒸餾技術，把原本需要 50 步的擴散生成過程一口氣壓縮到了 8 步。結構上採用共享基礎模型配合多個 LoRA 介面卡，徹底省去了多模型並行的視訊記憶體佔用。

這一套組合拳打下來，模型的推理效率直接提升了約 15 倍，生成一段 10 秒的影片只需要大概 1 分鐘。根據官方基準測試 EvalTalker 的資料，LongCat 1.5 的畫面跳幀問題率降到了 0.8%，主體變形率也只有 23.1%。在面對 Kling Avatar 2.0 和 HeyGen 等商業對手時，評測勝率分別拿下了 65.9% 和 54.3%。

為什麼重要

在很多大廠還在把數字人包裝成天價企業級 SaaS 服務的時候，美團直接把商業級水準的模型底座推到了開源社群，這一步走得相當漂亮。

對中小團隊和個人創作者來說，以往自建高擬真數字人幾乎是不可能的事，要麼承受 HeyGen 等商業軟體的高昂訂閱費，要麼忍受開源舊模型漏洞百出的肢體僵死。現在手裡有了 16GB 大小的 INT8 權重，只要有一塊主流消費級或專業顯示卡，就能低成本搭建起批次化的口播、解說甚至雙人短劇製作管線。

從行業競爭來看，開源數字人正在倒逼商業產品卷出新的護城河。當單圖生成、多人互動以及 8 步快速推理都被開源模型攻克，閉源 SaaS 廠商僅憑口型對齊和簡單濾鏡已經很難維持高溢價。

不過目前它依然有現實門檻。雖然 10 秒影片 1 分鐘搞定在擴散模型裡已經很快，但對於即時直播互動來說依然存在明顯延遲。我們認為，美團這套技術真正的殺傷力不在於直接做虛擬主播，而在於極大降低了電商素材批次生成和虛擬客服的工業化生產成本。