TeleStyle 开源:用参考图或提示词给图片视频一键换风格
研究团队发布风格迁移模型 TeleStyle,支持通过参考图或文本为图像和视频赋予特定画风。该模型基于 Qwen-Image-Edit 构建,借助课程持续学习与专用的视频模块,在套用新风格时仍能保证画面内容和帧间连贯性。目前代码与预训练模型已开源。

把一张照片改成动漫风或者水彩风,在现在的 AI 工具里并不稀奇。但如果你试过把一段视频整段换画风,往往会遇到两个灾难:要么原画面里的人脸和结构全被冲散了,要么每一帧之间的画面狂闪,根本没法看。
研究团队开源了风格迁移模型 TeleStyle。它针对的就是这个痛点,不仅支持单张图片换风格,还能把一整段视频逐帧处理成漫画、维多利亚时代、原子朋克或极简主义等各种画风,同时保证画面里的主体不走样、视频不乱闪。
目前很多基于 Diffusion Transformer(DiT)的生成模型,在内部表征里都把「画面内容」和「艺术风格」缠绕在一起,改风格时很难保住原始内容。TeleStyle 选择直接站在巨人的肩膀上,基于 Qwen-Image-Edit 构建,借用了底模很强的内容保留和局部编辑底子。
混合数据喂出的泛化力
要让模型认识成千上万种画风,训练数据是个大麻烦。如果全用人工精选的高清数据,种类肯定不够;如果全抓网络合成数据,模型又容易学偏。
团队用了一套折中打法。他们先整理了一批风格明确的高质量数据集,又通过数千种真实世界的风格类别,合成了大量三元组样本。然后,他们引入了一套「课程持续学习」框架,把干净的精选数据和带有噪声的合成数据混在一起,循序渐进地喂给模型。
这种训练方式让 TeleStyle 学会了举一反三。即便碰到训练集里从来没见过的刁钻画风,它也能只抓住参考图的神韵,而不破坏原本画面的线条和构图。
专治视频抽搐
如果是处理视频,普通图片模型直接逐帧生图几乎一定会闪烁。TeleStyle 专门做了一个 video-to-video 的风格化模块,在生成过程中约束帧与帧之间的时间连贯性。
不管是给它一张参考图片,还是只用文本提示词描述想要的画风,它都能把整段视频同步转成对应的风格。测试数据显示,TeleStyle 在风格相似度、内容一致性以及美学质量这三项核心指标上,都拿到了当下开源方案里的顶尖水准。
目前该项目的代码和预训练模型权重都已经对外公开,开发者可以直接下载测试。
为什么重要
风格迁移这项技术聊了很多年,但在视频制作流水线里一直很难真正落地。剪辑师和动画创作者过去想把一段实拍素材转成特定画风,要么依赖昂贵的商业插件,要么得忍受逐帧闪烁的瑕疵。TeleStyle 的开源,给个人创作者和小团队提供了一个真正可用的本地化解决方案。
我们认为这项工作最聪明的地方,在于没有从头造轮子去训一个庞大的多模态底座,而是借力开源生态里成熟的 Qwen-Image-Edit。在内容编辑模型的基础上去解耦风格和内容,不仅算力成本更可控,最终落地时的结构稳定性也更有保障。
不过,虽然模型本身号称轻量,但处理高分辨率视频时的显存开销依然是不可忽视的门槛。对于想在本地跑通长视频渲染的独立创作者来说,硬件配置可能还得留出足够的冗余。但无论如何,能把参考图风格精准移植到视频上且开源权重,这一步对开源视觉社区来说非常实在。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org