美团开源 LongCat Avatar 1.5：一张图加音频，8 步生成多人互动数字人

很多人对美团的印象还停留在外卖送餐和团购打折，但他们的技术团队最近在开源社区里频频发力。这次他们扔出来的，是一个能把静态照片直接做成说话视频的狠角色。

美团正式开源了数字人视频生成模型 LongCat-Video-Avatar 1.5。距离他们发布第一版才过去几周，这次更新直接把重心放在了实用和商用上。用法依然很简单，只要给一张人物参考图加上一段音频，模型就能让画面里的人自然开口说话。

模型和代码已经全部开放，不仅有完整的技术报告，INT8 量化后的权重总大小为 16GB，开发者可以直接下载部署到本地机器上跑。

不止嘴能对上，还分得清谁在说话谁在听

传统的数字人工具最让人出戏的，要么是嘴形和发音对不上像腹语术，要么就是肢体僵硬、表情像个塑料假人。要是画面里出现两个人，常常还会变成所有人一起盲目动嘴。

LongCat 1.5 在底层把音频编码器从 Wav2Vec2 升级成了 Whisper-large。大参数量的多语言先验让它能精准抓取音素和发音节奏，不仅唇形对得准，面部表情、脖颈扭动甚至肢体动作也能随着说话自然协调起来。

更有意思的是美团在训练数据上花的心思。他们特意补充了大量静默数据和多人数据。模型学会了识别谁才是当前正在开口的人，另一个人在听话时会保持自然的微表情和眼神交流，不会跟着瞎动嘴。

为了解决 AI 视频里常见的手部畸变和画面跳帧，团队引入了逐帧级的 GRPO 偏好对齐，配合手部检测机制压制手部崩塌。不仅是写实真人，就算是动漫角色或者动物形象，它也能按对应的风格唱念做打。

蒸馏到 8 步生成，把推理速度拉快 15 倍

效果再好，如果生成一条视频要等半小时，在实际业务里就毫无用处。美团这次最硬核的动作，是把推理成本给打了击坠。

他们利用 DMD 蒸馏技术，把原本需要 50 步的扩散生成过程一口气压缩到了 8 步。结构上采用共享基础模型配合多个 LoRA 适配器，彻底省去了多模型并行的显存占用。

这一套组合拳打下来，模型的推理效率直接提升了约 15 倍，生成一段 10 秒的视频只需要大概 1 分钟。根据官方基准测试 EvalTalker 的数据，LongCat 1.5 的画面跳帧问题率降到了 0.8%，主体变形率也只有 23.1%。在面对 Kling Avatar 2.0 和 HeyGen 等商业对手时，评测胜率分别拿下了 65.9% 和 54.3%。

为什么重要

在很多大厂还在把数字人包装成天价企业级 SaaS 服务的时候，美团直接把商业级水准的模型底座推到了开源社区，这一步走得相当漂亮。

对中小团队和个人创作者来说，以往自建高拟真数字人几乎是不可能的事，要么承受 HeyGen 等商业软件的高昂订阅费，要么忍受开源旧模型漏洞百出的肢体僵死。现在手里有了 16GB 大小的 INT8 权重，只要有一块主流消费级或专业显卡，就能低成本搭建起批量化的口播、解说甚至双人短剧制作管线。

从行业竞争来看，开源数字人正在倒逼商业产品卷出新的护城河。当单图生成、多人互动以及 8 步快速推理都被开源模型攻克，闭源 SaaS 厂商仅凭口型对齐和简单滤镜已经很难维持高溢价。

不过目前它依然有现实门槛。虽然 10 秒视频 1 分钟搞定在扩散模型里已经很快，但对于实时直播交互来说依然存在明显延迟。我们认为，美团这套技术真正的杀伤力不在于直接做虚拟主播，而在于极大降低了电商素材批量生成和虚拟客服的工业化生产成本。