Google 推出 VideoPoet:不用擴散模型,用 LLM 生成 10 秒大動作影片
Google 推出多模態影片生成模型 VideoPoet,打破主流的擴散模型路線,改用大語言模型整合文生影片、圖生影片及音效生成等任務。該模型主打連貫的大動作生成,能輸出偽影更少的 10 秒影片片段。這也展現了 LLM 架構在影片生成賽道上的通用潛力。
Google 推出多模態影片生成模型 VideoPoet,打破主流的擴散模型路線,改用大語言模型整合文生影片、圖生影片及音效生成等任務。該模型主打連貫的大動作生成,能輸出偽影更少的 10 秒影片片段。這也展現了 LLM 架構在影片生成賽道上的通用潛力。
Midjourney v6 正式上線。目前新版本並非預設開啟,使用者需要在 /settings 中手動選擇 v6,或在提示詞末尾加上「--v6」呼叫。首批測試反饋顯示當前生成速度較慢。
Microsoft 宣佈與 AI 音樂初創公司 Suno 合作,將其模型接入 Microsoft Copilot。使用者只需在聊天中輸入風格描述或歌詞,無需任何樂理和樂器基礎,就能生成包含人聲與伴奏的原創歌曲,把做音樂的門檻降到了幾句提示詞。
週日晚,巴基斯坦前總理伊姆蘭·汗的政黨釋出了一段 4 分鐘的競選影片,利用 ElevenLabs 的 AI 聲音克隆技術復刻其聲音,為身在獄中的他舉行線上集會。音訊基於其親筆筆記,集會吸引超 50 萬人觀看,巴基斯坦當局隨後封鎖了主要社交平臺。
Stability AI 推出 3D 模型 Stable Zero123,可從單張圖片生成多視角並重構 3D 資產。相比前代 Zero123-XL,它優化了資料集與仰角條件,訓練效率提升 40 倍。生成單視角視訊記憶體與 SD1.5 相同,完整 3D 推薦 24GB 視訊記憶體,權重已上線 Hugging Face。
Google 宣佈推出實驗性音樂生成工具 MusicFX,輸入文字即可生成曲目。該工具由 MusicLM 模型驅動,並採用 DeepMind 的 SynthID 技術嵌入隱形水印。為避開版權爭議,系統主動遮蔽了生成人聲和指定特定藝術家的提示詞。目前已在美、澳等國開放測試。
Snapchat 為每月 3.99 美元的 Snapchat Plus 訂閱使用者推出 AI 文生圖功能,使用者輸入提示詞就能生成圖片直接發給好友。新版本還支援通過 AI 擴圖補全照片背景,並允許與好友一同生成特定主題的 Dreams AI 自拍。
Meta 推出獨立的網頁端 AI 影像生成工具 Imagine with Meta。它基於底層 Emu 模型,美國使用者可免費通過自然語言一次生成 4 張高解析度影像。最值得關注的是,Meta 還承諾在未來幾週加入抗裁剪、抗壓縮的不可見 AI 水印,以提升透明度與溯源能力。
AI 藝術創作平臺 Leonardo.Ai 宣佈完成 3100 萬美元融資。平臺使用者數已達 700 萬,累計生成超 7 億張圖片。與常規生圖工具不同,它強調對畫面的精細控制,並推出了支援私有化部署和微調專屬模型的企業版。
Leonardo AI 宣佈即時繪畫功能 Live Canvas 正式向所有免費和付費使用者開放。使用者在畫布上塗鴉或調整時,畫面能近乎即時渲染成精美影像。官方還預告,未來一到兩週內還將推出更多擴充套件功能。
Ideogram 正式上線影像提示(墊圖)功能。使用者現在不僅能輸入文本,還可以直接上傳參考圖片,配合文字提示詞來控制畫面輸出。該功能目前面向所有 Plus 付費訂閱使用者開放。
Amazon 在 AWS re:Invent 大會上釋出 Titan 影像生成模型。開發者可通過 Bedrock 接入,它支援文本生圖和換背景,且生成的圖片會自動打上無法通過裁剪去除的隱形水印。為了打消企業顧慮,Amazon 還承諾提供版權侵權賠償。
AI 影片初創公司 HeyGen 宣佈完成 560 萬美元融資,估值達 7500 萬美元,並推出即時數字人生成功能。以往定製寫實數字人需要專業拍攝且耗時數天,現在用手機拍一段影片、5 分鐘就能生成。公司年經常性收入已達 1800 萬美元。
Stability AI 釋出文生圖模型 SDXL Turbo。它採用對抗擴散蒸餾技術,將生成步數從 50 步壓縮至單步,在 A100 上生成 512x512 影像僅需 207 毫秒,實現了即時出圖。不過目前僅開放非商業研究授權。
AI 影片生成平臺 Pika 宣佈完成 5500 萬美元融資,並開啟 Pika 1.0 的早期測試。新版本不僅能生成 3D 動畫與電影質感影片,還支援直接在畫面裡給人物換衣服、新增新角色或拓展畫幅。目前已面向小範圍使用者開放測試申請。
Runway 為影片生成模型 Gen-2 推出「Motion Brush」等功能。使用者只需在畫面上塗抹指定區域並設定運動方向與數值,就能精準控制區域性動態。更新還加入了擴音示詞的風格預設,並支援更精細的相機運鏡微調。
Stability AI 釋出首個生成式影片基礎模型 Stable Video Diffusion,並以研究預覽形式開源了程式碼與權重。該模型基於 Stable Diffusion 打造,包含兩款圖生影片模型,可生成 14 幀與 25 幀畫面。官方強調目前僅供研究,暫不可商用。
據報道,因社交網路風靡用寵物製作「迪士尼皮克斯」風格 AI 電影海報,微軟調整了必應影像生成工具。平臺此前直接攔截「Disney」提示詞,隨後改為將生成的迪士尼文字與 Logo 打亂變形,以規避潛在的商標侵權風險。
Google DeepMind 聯手 YouTube 釋出音樂模型 Lyria。同步測試的 Dream Track 允許創作者輸入主題,即可生成帶有 Charlie Puth 等 9 位歌手人聲與風格的 30 秒配樂。所有音訊均內建 SynthID 防偽水印,目前僅限少數創作者內測。