阿里发布 StreamChar：单张 H100 实时流式生成全身数字人音视频

以前大家看到的很多数字人，说白了就是一张照片贴皮加对嘴型。一旦想让角色站起来、动起来，甚至根据台词实时互动，系统往往撑不过两分钟：要么嘴型和声音越说越脱节，要么角色长相在几段生成后悄悄变了人。

阿里团队公布了数字人音视频生成框架 StreamChar。它最大的看点，是用一套解耦架构和记忆机制，在单张 H100 GPU 上跑出了全身角色的实时流式音视频生成。

把长程编排与短窗口去噪拆开

让 AI 角色边想边说边演，最难的地方在于既要实时低延迟，又要保证几十秒甚至几分钟内角色不走样。

以往的做法通常是分块自回归生成，但这种方式只要有一帧稍微对不上，误差就会层层放大。更麻烦的是，为了压低延迟而采用的少步数蒸馏，往往会把画面的细节和动作表现力直接砍掉一块。

阿里的解法挺巧妙：把任务拆成两截。前面由一个基于大语言模型（LLM）的编排器负责宏观控制，结合台词和历史上下文，算好帧对齐的音频条件；后面则交给一个音视频联合 DiT 模型，只负责在极短的时间窗口内做去噪生成。

为了不让角色长相和发音越跑越偏，团队加了两个关键设计。一个是进度感知指针，在训练生成展开时把局部台词与音频精准咬合；另一个是汇点块记忆（sink-chunk memory），在长程生成里立一个固定的视觉锚点，压制身份漂移。

最后，他们通过两阶段蒸馏流程，先压缩采样步数，再在在线分块 rollout 里微调学生模型。这样一来，系统终于能卡进严格的实时播放时延预算里。

从大头贴迈向全身角色

根据论文的实验结果，StreamChar 在短片段和长程生成协议下，台词保真度、音视频同步和视觉画质都拿到了不错的平衡，最关键的是整套系统能在单张 H100 上实现实时流式运转。

这意味着生成的对象不再局限于只露脸的大头贴，而是可以直接处理带有肢体语言的全身角色。

如果这套技术落地，虚拟主播开播、AI 短剧批量出片，或是开放世界游戏里的 NPC 实时搭话，都可以直接灌入人设素材与台词文本，实时推流出来。

为什么重要

我们认为，StreamChar 最聪明的地方不是硬堆参数，而是把架构逻辑理顺了。长程的剧情编排和短程的像素去噪本来就是两种不同频率的任务，把 LLM 拿来当导演排时间线、让 DiT 当演员专心出画面，比让同一个扩散模型从头抗到尾合理得多。

对行业来说，它给实时交互型数字人划定了一条新的及格线：不能只动嘴皮子，还得兼顾全身一致性与单卡实时部署。以往许多所谓实时互动方案，背地里往往需要庞大的集群切片离线拼装，StreamChar 把门槛压缩到了单张 H100。

不过，目前这项研究还停留在论文阶段，代码和权重是否会完全开放还是未知数。而且单张 H100 对个人创作者和独立开发者来说，算力成本依然不算亲民。但至少它证明了一条路：让数字人有体态、有表情且不脸盲地实时播下去，在工程上已经完全走得通了。