字节发布 OmniShow：图音姿态全模态控制，专攻人-物交互带货视频

做电商带货或者产品营销，最让人头疼的就是制作成本。请真人主播出镜不仅费时费钱，要是交给通用 AI 视频工具，虚拟人一伸手拿商品，包装上的文字全糊了，瓶子还会当场变形融化。

字节跳动联合香港中文大学等团队，发布了一款专攻人-物交互的端到端视频生成模型 OmniShow。这款模型从立项起，就直奔电商广告和营销带货这一极为实用的场景而去。

把商品、肖像和动作一口气喂给模型

传统的视频生成模型大多只能接受文本或单一图像驱动，很难同时顾及人物长相、商品细节、肢体动作和说话口型。OmniShow 最大的不同，就在于它是目前少数能同时通吃图像、音频、姿势和文本的全模态框架。

在生成模式上，它覆盖了从图像生视频到图文音姿混合驱动（RAP2V）等多种组合。用户可以同时上传一张人物参考图和一张商品白底图，再配上一段录音和一段人体姿势骨架视频，模型就会把它们自然揉成一段视频。

在官方展示的示例中，无论是蛋白粉包装、化妆品还是卷发棒，模型生成的虚拟角色都能稳定地手持展示，且商品外观与参考图保持高度一致，没有出现同类竞品常见的形变失真。更让人惊喜的是，它能原生生成长达 10 秒的连续长镜头，人物的表情、手指关节的抓握动作，以及与语音严丝合缝的口型同步，都达到了接近商用的水准。

为了让多模态输入不打架，研究团队在论文中引入了统一通道注入（Unified Channel-wise Conditioning）来高效结合图像与姿态，并通过门控局部上下文注意力（Gated Local-Context Attention）来保证音画精准同步。面对多条件训练数据稀缺的问题，他们设计了先解耦再联合的训练策略，并顺带搭建了专门的人-物交互评测基准 HOIVG-Bench。

目前研究团队已经在 GitHub 上建立了项目仓库，不过页面显示核心代码正在接受内部审核，后续有开源计划。

为什么重要

对中小电商商家和自媒体创作者来说，这套工具如果顺利落地，将大幅降低带货视频的制作门槛。以往找达人拍一条口播广告需要几天周期，未来可能只需要一张商品图、一段授权肖像和录好的台词音频，几分钟就能批量渲染出多条高质量营销视频。

从行业竞争来看，字节跳动的思路非常务实。当同行还在文生视频的通用大模型上卷大场景和物理仿真时，字节直接把发力点切进了自己最擅长的流量变现核心区：短视频带货。把人-物交互和商品一致性做扎实，远比生成一段华丽但无法落地的风光大片更有商业杀伤力。

我们认为 OmniShow 的聪明之处在于没有盲目堆参数，而是把重点放在了高难度的多条件精确控制上。不过，10 秒的镜头长度对于完整的带货叙事仍然偏短，后续如何拼接成更长、更有剧情的广告仍是考验。此外，一旦这类高度仿真的虚拟带货视频规模化泛滥，平台如何监管虚假宣传与肖像滥用，也会带来不小的治理挑战。