Runway 釋出 Gen-1：用文字和參考圖把實拍影片變成黏土動畫

過去幾個月裡，大家還在驚歎 Stable Diffusion 怎麼靠一句提示詞畫出驚豔的靜態圖。現在，作為聯合打造者之一的 Runway 決定更進一步，直接向動態影片開刀。

Runway 正式釋出了名為 Gen-1 的新一代生成式 AI 模型。和市面上那些嘗試憑空捏造影片的嘗試不同，Gen-1 主打的是「影片到影片」（video-to-video）。也就是說，你給它一段原本普通甚至粗糙的實拍影片，它能順著原片的動作和構圖，徹底給畫面換一層皮。

從官方演示來看，這絕不是簡單的濾鏡調色。一段隨手拍下的路人街頭漫步，餵給模型後可以直接變成質感十足的定格黏土動畫；一段行人在雪地裡艱難跋涉的鏡頭，套上特定提示詞就能瞬間化身阿波羅登月的歷史影像。

五種模式拆解後期流程

Runway 這次給 Gen-1 塞進了五種具體模式，幾乎全是衝著實際製作場景去的。

第一種是「風格化」（stylization），輸入一張靜態圖或者一句文字提示，模型就會把這種視覺風格強行注入到源影片中。

第二種是「故事板」（storyboard），能把粗糙的實體模型變成動畫場景。在演示裡，桌上隨便堆疊的幾本書，轉眼就變成了夜幕下的摩天大樓天際線。

第三種是「遮罩」（mask），允許使用者精準圈出影片中的某個運動主體，單獨給它變換造型，背景則保持不變。

第四種是「渲染」（render），可以直接把沒有材質貼圖的灰模 3D 動畫，直接渲染成光影完整的成品鏡頭。

最後一種則是「自定義」（customization），給創作者提供對上述各項引數的精細控制選項。

從奧斯卡熱片走出來的實戰經驗

Runway 並不是第一家做影片生成的團隊，但他們很清楚電影從業者想要什麼。聯合創始人兼 CEO Cristóbal Valenzuela 在接受《MIT 科技評論》採訪時表示，Gen-1 融入了團隊多年來對電影人與視效剪輯師後期工作流的理解。

事實上，Runway 之前的技術就已經在去年大火的電影《瞬息全宇宙》中參與過後期的視覺特效製作。

Valenzuela 甚至大膽預測，行業距離用 AI 生成一部完整的長片電影已經非常接近，未來網上看到的大部分內容可能都會是由 AI 生成的。目前 Gen-1 正處於早期研究訪問階段，官方表示未來數週內會逐步向更多人開放。

為什麼重要

我們覺得 Runway 這次走得非常務實而且聰明。

純粹靠文字生成影片（text-to-video）一直有個致命軟肋：完全不可控。生成的畫面經常五官亂飛、物理規律崩塌。而 Gen-1 另闢蹊徑，拿現有實拍或 3D 灰模作為結構底稿，讓 AI 只負責上材質和風格遷移。這就相當於把「控制運動」和「賦予畫風」拆成了兩件事，大幅降低了失真翻車的機率。

對創作者來說，這意味著製作門檻的斷崖式下跌。獨立導演和特效師不再需要耗費幾週去調材質、渲染光影，拿手機隨手拍一段真人動作，或者用硬紙板搭個模型，就能快速做出媲美大片質感的情緒板或分鏡草稿。

不過，目前展出的還只是精選 demo。在真實的複雜長鏡頭裡，幀與幀之間的閃爍、物體邊緣的抖動到底能不能徹底解決，依然要等數週後大範圍公測才能見分曉。