跳到正文
IFAI

AIGC

OpenCV 創始人創辦 CraftStory:推出 Model 2.0,支援 5 分鐘長影片

首次發布 傳播指數 31

週二,OpenCV 創始人打造的影片初創公司 CraftStory 宣佈完成 200 萬美元融資並推出 Model 2.0。該模型採用並行擴散架構,能生成長達 5 分鐘的人物影片,突破了競品普遍僅能生成數秒或 25 秒的限制。目前它採用影片驅動靜態圖的模式,生成 30 秒片段約需 15 分鐘。

OpenCV 創始人創辦 CraftStory:推出 Model 2.0,支援 5 分鐘長影片
圖:venturebeat.com

現在的 AI 影片工具,視覺效果再震撼,大多也只能撐個五到十秒,OpenAI 的 Sora 2 撐死也就 25 秒。稍微長一點的演示或教程,基本全靠後期拼接。

計算機視覺庫 OpenCV 的原班團隊出來創業了。週二,由 OpenCV 創始人兼執行長 Victor Erukhimov 創辦的 AI 影片公司 CraftStory 宣佈走出隱身狀態,同時拿出了首款模型 Model 2.0,直接把以人為核心的影片生成長度拉到了整整 5 分鐘。

有意思的是,與動輒融資幾十億美元的大廠相比,CraftStory 這次僅拿到了 200 萬美元的早期投資,資金幾乎全部來自 Wrike 前創始人 Andrew Filev。他們想用一套完全不同的打法,證明堆算力並不是唯一的出路。

拆開跑的並行擴散架構

行業裡做長影片最大的痛點,就是畫面崩壞。主流模型一般是在時間軸上逐步序列生成,前幾秒一旦出現手指扭曲或面部變形,這個錯誤就會像滾雪球一樣在後續幀裡不斷放大,最後完全失控。

CraftStory 換了個思路,做了一套並行擴散架構。它不是生成一段再拼一段,而是在整整 5 分鐘的時間軸上,同時執行多個較小的擴散演算法。更關鍵的是,這些演算法之間存在雙向約束,影片後面的畫面甚至可以反過來修正前面的動作,徹底阻斷了瑕疵的連續蔓延。

資料來源也很有講究。CraftStory 沒有像別家那樣無底線抓取網際網路影片,而是自己掏錢租攝影棚,請專業演員在高速高幀率攝像機前錄製動作。團隊特別強調,普通網路影片自帶 30 幀的動態模糊,手部動作很容易糊掉,而定製的高幀率素材能把手指關節的運動細節交代得清清楚楚。

目前的 Model 2.0 走的是影片驅動影片路線。使用者需要上傳一張人物靜態圖,再配上一段用來指導動作的「驅動影片」。你可以上傳自己的動作,也可以直接用官方預設的專業演員庫,那些提供動作資料的演員還能從中拿到分成。此外,系統還配有口型同步演算法和根據語調節奏對齊的手勢匹配系統。

不過,現在的代價也相當明顯。在當前版本下,生成一段低解析度的 30 秒片段,大概需要足足 15 分鐘。

為什麼重要

我們認為,CraftStory 最聰明的點在於它放棄了全能路線,精準切入了一個極具商業價值的現實窄道:企業培訓、客服教學和產品帶貨演示。這些場景不需要天馬行空的電影級特效,但極度需要一個真人連貫、自然地講上兩三分鐘。

對於創作者和企業員工來說,現在它還算不上一個傻瓜式工具。雖然 5 分鐘的長度足夠做完一整節微課,但 15 分鐘渲染 30 秒的低清速度,意味著它的算力門檻和等待成本依然很高,短期內更適合專業營銷團隊在後臺批次跑,普通人可以先保持觀望。

從行業競爭來看,這是一次教科書般的以小博大。OpenAI 最新的單輪融資就超過了 60 億美元,而 CraftStory 只靠 200 萬美元就把影片長度拉到了大廠的數倍。這向整個行業證明了一件事:在高質量私有資料和精巧的架構面前,無腦堆砌公共資料和算力並不是唯一的解法。大模型實驗室接下來很可能會被迫重新評估序列生成的邏輯,轉向類似的並行長影片方案。

來源 (1)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com

每日 AI 內容精選