Adobe 开源 TransPixar:直接生成带透明通道的视频,做特效不用再抠图
Adobe 联合香港科技大学开源视频生成模型 TransPixar。以往 AI 只能生成实底视频,而它能直接输出带透明通道的 RGBA 视频,像烟雾、光效等可以直接叠进画面。目前代码和在线 Demo 已公开,但仍在早期阶段。
TransPixar 是 Adobe Research 联合香港科技大学开源的视频生成模型,核心能力就一项:直接生成自带透明通道(Alpha 通道)的 RGBA 视频素材。
如果你平时做后期特效,就知道以前用 AI 生成视频有多折磨。市面上的主流模型只能吐出不透明的实底画面,哪怕只要一团烟雾,也得自己费劲抠图,边缘还经常毛糙发黑,根本没法直接叠到底轨素材上。
它能做什么
TransPixar 解决了实底视频难以合成的痛点。它能通过简单的文本提示词,直接生成自带透明背景的动态特效,省去了繁琐的抠像步骤。
在官方公布的演示里,它已经能生成缓慢弥漫的烟雾团、带电弧的传送门,以及旋转的小行星带。这些半透明材质和发光边缘不仅透明度细腻,而且能很自然地融合进背景画面。
除了文生视频,它还支持把一张普通的静态图片动起来,并在上面叠加上自然的半透明动态效果。
怎么做到的与开源现状
按照 Adobe Research 项目负责人 Yijun Li 在白皮书里的说法,Alpha 通道是视觉特效的核心,但由于包含透明通道的 RGBA 视频训练数据极其稀缺,现有模型很难直接改造。
TransPixar 专门针对半透明材质、精确反射和虚化动态进行了调优,让模型能够理解并正确输出逐帧的 Alpha 通道数值。
目前 Adobe 和港科大已经把项目开源。代码已经可以在 GitHub 上获取,方便开发者自行测试和二次开发;Hugging Face 上也上线了交互式的在线 Demo。
不过需要说明的是,这目前还是一个偏研究性质的早期项目。它还没有被打包成 After Effects 或者 Cinema 4D 的官方插件,生成的画质和分辨率距离商业成片标准也还有一段距离。
为什么重要
对于独立特效师、游戏小团队或者个人创作者来说,TransPixar 值得去 Hugging Face 上先摸一摸。如果它后续能以插件形式整合进剪辑软件,制作烟雾、火光、光效这类常见素材的成本会被大幅拉低。
现在的视频生成模型都在卷大场景和宏大叙事,但 Adobe 显然更懂一线制作人员的真实痛点。从实底画面走向可直接叠层的 RGBA 资产,才是 AI 工具真正融入专业影视与游戏工业管线的关键一步。
来源 (1)
- creativebloq.com(在新标签页打开)原文creativebloq.com