Runway 发布 Gen-1：用文字和参考图把实拍视频变成黏土动画

过去几个月里，大家还在惊叹 Stable Diffusion 怎么靠一句提示词画出惊艳的静态图。现在，作为联合打造者之一的 Runway 决定更进一步，直接向动态视频开刀。

Runway 正式发布了名为 Gen-1 的新一代生成式 AI 模型。和市面上那些尝试凭空捏造视频的尝试不同，Gen-1 主打的是「视频到视频」（video-to-video）。也就是说，你给它一段原本普通甚至粗糙的实拍视频，它能顺着原片的动作和构图，彻底给画面换一层皮。

从官方演示来看，这绝不是简单的滤镜调色。一段随手拍下的路人街头漫步，喂给模型后可以直接变成质感十足的定格黏土动画；一段行人在雪地里艰难跋涉的镜头，套上特定提示词就能瞬间化身阿波罗登月的历史影像。

五种模式拆解后期流程

Runway 这次给 Gen-1 塞进了五种具体模式，几乎全是冲着实际制作场景去的。

第一种是「风格化」（stylization），输入一张静态图或者一句文字提示，模型就会把这种视觉风格强行注入到源视频中。

第二种是「故事板」（storyboard），能把粗糙的实体模型变成动画场景。在演示里，桌上随便堆叠的几本书，转眼就变成了夜幕下的摩天大楼天际线。

第三种是「遮罩」（mask），允许用户精准圈出视频中的某个运动主体，单独给它变换造型，背景则保持不变。

第四种是「渲染」（render），可以直接把没有材质贴图的灰模 3D 动画，直接渲染成光影完整的成品镜头。

最后一种则是「自定义」（customization），给创作者提供对上述各项参数的精细控制选项。

从奥斯卡热片走出来的实战经验

Runway 并不是第一家做视频生成的团队，但他们很清楚电影从业者想要什么。联合创始人兼 CEO Cristóbal Valenzuela 在接受《MIT 科技评论》采访时表示，Gen-1 融入了团队多年来对电影人与视效剪辑师后期工作流的理解。

事实上，Runway 之前的技术就已经在去年大火的电影《瞬息全宇宙》中参与过后期的视觉特效制作。

Valenzuela 甚至大胆预测，行业距离用 AI 生成一部完整的长片电影已经非常接近，未来网上看到的大部分内容可能都会是由 AI 生成的。目前 Gen-1 正处于早期研究访问阶段，官方表示未来数周内会逐步向更多人开放。

为什么重要

我们觉得 Runway 这次走得非常务实而且聪明。

纯粹靠文字生成视频（text-to-video）一直有个致命软肋：完全不可控。生成的画面经常五官乱飞、物理规律崩塌。而 Gen-1 另辟蹊径，拿现有实拍或 3D 灰模作为结构底稿，让 AI 只负责上材质和风格迁移。这就相当于把「控制运动」和「赋予画风」拆成了两件事，大幅降低了失真翻车的概率。

对创作者来说，这意味着制作门槛的断崖式下跌。独立导演和特效师不再需要耗费几周去调材质、渲染光影，拿手机随手拍一段真人动作，或者用硬纸板搭个模型，就能快速做出媲美大片质感的情绪板或分镜草稿。

不过，目前展出的还只是精选 demo。在真实的复杂长镜头里，帧与帧之间的闪烁、物体边缘的抖动到底能不能彻底解决，依然要等数周后大范围公测才能见分晓。