Domain Shuttle：输入参考图生成视频，多角色跨风格也能保持一致

玩过 AI 视频生成的人大概都体会过这种痛苦：上一秒还是个清秀主角，切个镜头就换了张脸；如果想让一个 2D 动漫角色和真人同框互动，画面通常会当场崩坏成四不像。

香港科技大学团队开源了一个名为 Domain Shuttle 的主体驱动视频生成项目。它的核心卖点很简单：只要给它几张参考图，模型就能在生成连续视频时，牢牢锁住角色的长相和特征，甚至能轻松应对跨风格的极端场景。

让真人、2D 动漫和 3D 全息同台飙戏

以往基于参考图的视频生成工具，大多只能做同风格的复刻。你给一张真人照片，它生成一段写实视频；一旦提示词要求把场景变成动画，角色往往就彻底变形了。

Domain Shuttle 走了一条完全不同的路，它主打的就是跨风格穿梭。在官方给出的演示中，你可以同时输入一张真人照片、一个 2D 动漫形象和一个 3D 模型，模型能把这三种完全不同画风的角色合并到同一个视频里，彼此还能自然互动。

更让人眼前一亮的是它对细节的控制力。你可以让一个写实风格的男人看着墙上的 2D 涂鸦女孩，也可以让一个 3D 全息投影角色围绕真人交谈。甚至在一个高难度测试里，模型成功把一张 2D 插画无缝贴在了女人手中拿着的杯子上，随着镜头移动依然保持稳定。

这一切背后的技术核心在于解耦。研究团队提出了 Domain-MoT 架构和双空间 RoPE 方案，把参考图里的核心身份特征与具体的风格属性拆开处理，让模型既记住了这是谁，又不会被原本的画风绑架。

不过想在本地玩转它并不容易。Domain Shuttle 基于开源视频大模型 Wan 2.2 构建，光是模型权重就达到了 35GB，普通家用电脑基本跑不动，必须配备高端专业显卡。目前代码和权重已经全部在 GitHub 上开放下载。

为什么重要

我们认为，Domain Shuttle 踩准了视频生成落地最卡脖子的痛点。现在的视频模型不缺天马行空的想象力，缺的是对特定主体的控制力。

对于做短视频创作、虚实结合广告以及 UGC 内容的团队来说，这种能力价值极大。以往为了让一个虚拟 IP 出现在不同现实场景里，需要复杂的 3D 建模、渲染和后期合成。现在只需要提供设定图，用纯文本提示词就能生成风格统一的多镜头素材，制作门槛被大幅拉低。

从行业竞争来看，这也给开源视频生成生态打了一剂强心针。它直接站在 Wan 2.2 这个成熟基座之上做二次创新，证明了开源社区不需要从零烧钱训基座，靠架构优化同样能做出超越主流商业工具的控制精度。

当然，35GB 的体量和高显存门槛，注定它暂时还是专业开发者和极客的玩具。但在影视分镜预演和商业广告原型设计上，它已经展现出了足够实用的商业潜能。