Midjourney 披露規劃:v6 下週補齊區域性重繪,影片生成先於 3D
Midjourney 在 Office Hours 中公佈進展,v6 最快下週補齊區域性重繪、平移和縮放功能。最值得關注的是,風格一致性將先於角色一致性推出,同時團隊正在研發影片生成且優先順序高於 3D。創作者最急需的控圖能力即將到位。
Midjourney 在 Office Hours 中公佈進展,v6 最快下週補齊區域性重繪、平移和縮放功能。最值得關注的是,風格一致性將先於角色一致性推出,同時團隊正在研發影片生成且優先順序高於 3D。創作者最急需的控圖能力即將到位。
Adobe 為 Premiere Pro 帶來新音訊工作流。新版能用 AI 自動給音訊分類打標籤,並提供互動式淡入淡出滑塊;去年 9 月測試的「人聲增強」也將在 2 月向所有使用者開放,能一鍵消除嘈雜背景噪音。
Midjourney CEO David Holz 在 Discord 上宣佈,團隊將於 1 月開始訓練影片生成模型。剛釋出的 Midjourney v6 也將在下週迎來更新,不僅改進文字渲染與提示詞理解,還會逐步補回區域性重繪等舊版特性。
Pika Labs 宣佈文生影片平臺 Pika 1.0 正式面向所有人開放。使用者在網頁端輸入提示詞即可生成 3D 動畫或電影風短片,並能自定義運鏡、調節幀率甚至區域性修改畫面物體。目前使用 Google 或 Discord 賬號即可免費體驗,不過生成質量仍偶有變形。
Leonardo AI 推出 Motion 動效功能,可將平臺生成的靜態圖片直接轉換成動態影片。使用者能自由調節運動強度,每次生成消耗 25 個積分。免費使用者每天 150 積分約可生成 6 個動態影片,為內容創作者提供了更低門檻的動效工具。
Google 推出多模態影片生成模型 VideoPoet,打破主流的擴散模型路線,改用大語言模型整合文生影片、圖生影片及音效生成等任務。該模型主打連貫的大動作生成,能輸出偽影更少的 10 秒影片片段。這也展現了 LLM 架構在影片生成賽道上的通用潛力。
Stability AI 推出會員體系 Stability AI Membership,規範其開源模型的商用權益。體系分三檔:個人與研究仍免費,創作者和初創團隊每月付 20 美元即可自託管商用,另有大企業定製檔。官方希望藉此在開放與持續研發資金間取得平衡。
AI 影片初創公司 HeyGen 宣佈完成 560 萬美元融資,估值達 7500 萬美元,並推出即時數字人生成功能。以往定製寫實數字人需要專業拍攝且耗時數天,現在用手機拍一段影片、5 分鐘就能生成。公司年經常性收入已達 1800 萬美元。
AI 影片生成平臺 Pika 宣佈完成 5500 萬美元融資,並開啟 Pika 1.0 的早期測試。新版本不僅能生成 3D 動畫與電影質感影片,還支援直接在畫面裡給人物換衣服、新增新角色或拓展畫幅。目前已面向小範圍使用者開放測試申請。
Runway 為影片生成模型 Gen-2 推出「Motion Brush」等功能。使用者只需在畫面上塗抹指定區域並設定運動方向與數值,就能精準控制區域性動態。更新還加入了擴音示詞的風格預設,並支援更精細的相機運鏡微調。
Google 宣佈為 Google Meet 推出物理手勢檢測功能,AI 能識別使用者在攝像頭前真實舉起的手,並自動觸發會議內的舉手圖示通知主持人。手需要離開面部和身體並保持幾秒觸發,正在發言時會自動停用防止誤觸。功能預設關閉,支援大多數 Workspace 套餐。
Stability AI 釋出首個生成式影片基礎模型 Stable Video Diffusion,並以研究預覽形式開源了程式碼與權重。該模型基於 Stable Diffusion 打造,包含兩款圖生影片模型,可生成 14 幀與 25 幀畫面。官方強調目前僅供研究,暫不可商用。
Meta 公佈兩項基於 Emu 模型的 AI 研究成果:Emu Edit 和 Emu Video。Emu Edit 主打精確的文本指令影像修圖,只動指令相關的畫素;Emu Video 則用簡化的擴散模型架構生成 4 秒短影片。這項研究目前仍處於研發階段。
Microsoft 在 Ignite 2023 上推出 Azure AI Speech 文本轉語音替身公開預覽版,上傳照片和指令碼即可生成逼真的說話影片。配套的 Personal voice 僅憑一分鐘音訊樣本就能復刻聲音。為防濫用,定製替身和聲音復刻需單獨申請稽核,且強制新增 AI 水印與書面授權。
AI 影片生成工具 Deforum 宣佈推出官方 Discord 機器人。使用者可以直接在聊天頻道里藉助 SDXL 生成 AI 視覺內容,官方表示幾天內將分批開啟測試。對嫌本地配置麻煩、被複雜引數勸退的創作者來說,門檻降低了不少。
好萊塢演員公會 SAG-AFTRA 批准與製片廠的初步協議,正式結束持續 118 天的罷工。協議針對 AI 威脅制定了知情同意和補償條款以保護演員,並首次設立流媒體分紅。目前協議細節仍需等待工會全國委員會審議與全體投票。
好萊塢演員工會與製片廠聯盟的談判再次停滯,核心分歧仍是 AI。製片廠提議永久擁有部分高收入演員的數字肖像權,甚至死後無需家屬同意即可使用;工會堅決拒絕,要求每次呼叫都必須重新徵得同意並按次付費。
Plai Labs 推出免費文生影片工具 PlaiDay。使用者只需上傳一張自拍並輸入提示詞,就能生成融入自己形象的 3 秒短影片。最值得關注的是它主打個人化敘事,不過目前單人特寫效果較好,生成複雜面部仍容易出現扭曲變形。
AI 影片平臺 Kaiber 推出 iOS 與 Android 移動端 App,把音樂影片創作搬到手機上。它支援文本、圖片和影片生影片,並內建音樂與藝人風格預設。平臺提供 100 積分免費試用,訂閱每月 5 美元起。
Runway 宣佈升級影片生成模型 Gen-2,涵蓋文本生成影片與影像生成影片兩大模式。官方表示新版本大幅改善了畫質保真度與畫面連貫性。也就是說,AI 影片生成中的畫面模糊和閃爍變形得到了針對性改善。