生數科技聯手清華髮布 Vidu:一鍵生成 16 秒 1080p 影片對標 Sora
生數科技聯合清華大學釋出文本生成影片模型 Vidu。它基於自研的 U-ViT 架構,能一鍵生成 16 秒、1080p 解析度的影片,支援單場景多機位切換與物理規律模擬。雖然畫質和真實感與 Sora 相比仍有差距,但其畫面連貫性表現亮眼。
OpenAI 扔出 Sora 這顆深水炸彈後,全世界都在看中國團隊什麼時候能拿出對標的產品。
在 2024 年北京舉辦的中關村論壇上,生數科技聯合清華大學正式釋出了文生影片大模型 Vidu。它能夠一鍵生成 16 秒長、1080p 高畫質解析度的影片片段,直接把自己擺在了挑戰 Sora 的擂臺上。
16 秒 1080p,架構據說比 Sora 還要早
如果單看生成時長,Vidu 目前能跑出 16 秒,和 Sora 標稱的 60 秒相比還有明顯差距。但在解析度上,它直接做到了 1080p 高畫質。
更有意思的是底層的模型架構。官方表示,Vidu 基於一種叫 U-ViT(通用視覺 Transformer)的架構。這套架構是生數科技團隊早在 2022 年 9 月提出的,從時間節點上看,比 Sora 所採用的 DiT 架構還要更早一些。
按照研發團隊的說法,正是得益於這套架構,Vidu 具備了模擬真實物理世界的能力,不僅能處理逼真的光影變化和細膩的人臉表情,還能生成富有想像力、甚至現實中不存在的超現實畫面。
能切鏡頭,但畫質細節還沒徹底追平
在演示中,生數科技特意挑了不少類似 Sora 當初展示過的場景來進行復刻,正面叫板的意味很濃。
Vidu 展現出了很搶眼的多機位鏡頭切換能力。它可以在單個場景裡自然過渡,把遠景、中景和特寫順滑地銜接起來,而不需要切斷重新生成。
從生成質量來看,Vidu 表現出來的時序一致性確實可圈可點,物體和人物在鏡頭移動時沒有出現離譜的形變或穿模。
不過如果把兩者的生成結果並排對比,客觀地說,Vidu 在畫面的真實感和細節質感上,依然比不上 Sora 的水準。那種電影級的材質細膩度,生數科技顯然還需要再花時間追趕。
為什麼重要
我們認為,Vidu 的釋出對影片創作者和國內 AI 賽道來說是一個很關鍵的訊號。
對創作者而言,目前雖然還沒到直接替換專業影視渲染的地步,但 16 秒加上 1080p 的多鏡頭切換能力,已經足以讓自媒體制作分鏡指令碼或動態概念圖的效率翻倍。一旦開放測試,非常值得短影片和設計團隊第一時間上手試試。
從行業競爭來看,這是國內團隊在長影片生成領域一次非常硬核的技術交卷。它證明了國內不僅能快速跟進前沿方向,而且在底層架構上有自己的學術積累,沒完全跟在海外開源路線後面跑。
生數科技直接拿 Sora 的經典 Prompt 來做演示,做法挺大膽,也很有野心。這既讓大家直觀看到了差距縮小到了什麼程度,但也把畫質上的短板毫無保留地擺在了明處。看起來,底座架構打通之後,接下來拼的就是海量高質量資料訓練和工程細節的微調了。
來源 (1)
- maginative.com(在新分頁開啟)原文maginative.com