跳到正文
IFAI

AIGC

Krea AI 推出即時影片生成模型:畫幾筆或連攝像頭,畫面即刻動起來

首次發布 傳播指數 47

Krea AI 推出即時影片生成模型 Realtime Video 並開啟測試。它的生成速度超過播放速度,使用者塗鴉、輸入提示詞、接入攝像頭或共享螢幕時,畫面都能即時響應並保持連貫。這意味著 AI 影片告別了漫長渲染,有了像玩遊戲一樣的即時操控感。

Krea AI 推出即時影片生成模型:畫幾筆或連攝像頭,畫面即刻動起來
圖:github.com

過去玩 AI 影片,最折磨人的環節就是漫長的等待。敲下一行提示詞,按下生成鍵,往往得盯著進度條轉上好幾分鐘,最後出來的畫面如果動作變形,又得從頭來過。

Krea AI 剛釋出的即時影片生成模型 Realtime Video,想徹底改變這種「抽卡式」的創作流程。他們已經開啟了測試申請,把過去按分鐘計算的影片渲染,拉進了毫秒級的即時互動裡。

像玩遊戲一樣即時生成畫面

Realtime Video 最直觀的突破是速度。據官方介紹,該模型的生成速度已經超過了實際播放速度。

這意味著當你改變輸入條件時,螢幕上的影片畫面能立刻給出反饋。更關鍵的是,它沒有為了拼速度而犧牲連貫性。模型在跨幀之間能保持畫面的時間一致性,無論主體的動作、身份特徵還是整體藝術風格,都不會在運動中閃爍崩塌。

Krea 團隊提到,這套系統底層的設計思路受到了現代「世界模型」的啟發。模型不僅僅是在逐幀畫圖,而是學習了物理場景如何演變,以及一個微小的動作如何在時間軸上向前泛起漣漪。

畫布、游標和攝像頭都能當遙控器

這種速度讓互動方式完全變了樣。你不需要把想法硬憋成一段精密的文字描述,而是可以用各種輕量級的操作直接「導演」畫面。

在畫布上,你可以隨手畫幾個簡單的色塊或幾何圖形,隨著筆觸的調整,AI 會瞬間把塗鴉轉化成動態的複雜場景。修改提示詞裡的一個詞,畫面也能立即過渡並穩定下來。

它甚至支援攝像頭與螢幕共享輸入。把電腦攝像頭連進模型,就能開啟即時濾鏡,把自己即刻變成 3D 動畫角色,或者把面前的書桌變成一片微縮城市。如果你共享螢幕,連滑鼠游標的移動、UI 控制元件的拖拽或者剪輯時間軸的滑動,都能被模型即時轉化成連貫的生成式影片。

對於需要即時反饋的創意人來說,這種極簡的輸入和即時操控感,體驗上已經非常接近在玩一款電子遊戲。

為什麼重要

對於創作者來說,從「等待渲染」到「即時互動」是一次工作流的質變。過去構思分鏡需要不斷試錯等待,現在只要在螢幕上拖拽幾筆就能即時看到效果,試錯成本被大幅壓縮,尤其適合前期構思、現場直播互動或遊戲原型的快速搭建。

在行業競爭上,目前主流影片模型大多在拼解析度、寫實度和長鏡頭時長,但 Krea 換了一條賽道,直接打「低延遲互動」這條線。世界模型的理念不僅用來做影視級渲染,也可以作為高響應的互動引擎,這一步逼著對手們重新審視互動體驗的價值。

我們認為 Krea 的策略相當聰明。避開和算力巨頭在重型長影片上硬碰硬,轉而把工具做成創作者手裡的畫筆和操縱桿。不過,模型目前剛開放測試申請,在即時高幀率下能維持多久的一致性、複雜場景下會不會出現邏輯破綻,依然有待開放後的大範圍檢驗。

來源 (3)

  1. [1]
    @krea_ai(在新分頁開啟)原文x.com
  2. [2]
  3. [3]

每日 AI 內容精選