Twelve Labs 推出 Pegasus-1:直接看懂長影片並生成文本
Twelve Labs 推出影片語言基礎模型 Pegasus-1,並上線影片轉文本 API。它放棄常見的抽幀轉圖片路線,直接整合視覺、音訊與語音資訊,用於長影片的摘要、分段與報告生成。這意味著長影片理解不再受限於單幀切片。
Twelve Labs 推出影片語言基礎模型 Pegasus-1,並上線影片轉文本 API。它放棄常見的抽幀轉圖片路線,直接整合視覺、音訊與語音資訊,用於長影片的摘要、分段與報告生成。這意味著長影片理解不再受限於單幀切片。
D-ID 正式上線 iOS 與 Android 版移動應用。使用者上傳一張單人照片或挑選預設數字人,輸入臺詞並選擇 119 種語言和語氣,就能生成最長 10 分鐘的說話影片。移動端訂閱起售價為每月 5.99 美元,提供 14 天免費試用。
Descript 推出名為 Underlord 的 AI 影片與播客剪輯助手。它能讀懂指令碼和影片素材,通過簡單指令自動搞定多鏡頭排版、加字幕、消音和去口癖等繁瑣流程。也就是說,剪輯影片像改文件和給同事提需求一樣省事。平臺提供免費版,每月含 1 小時媒體時長。
ElevenLabs 宣佈與影片生成平臺 Pictory AI 達成合作。Pictory 接入 ElevenLabs 的 AI 語音技術,重點支援英語和德語,讓創作者把部落格和文本指令碼轉成影片時,能直接配上高度擬真的自然人聲。
美國兩黨參議員推出《No Fakes Act》討論草案,獲罷工中的 SAG-AFTRA 工會全力支援。草案擬在聯邦層面禁止未經本人知情同意使用 AI 製作聲音或肖像數字復刻。這直擊演藝人員的核心痛點,防止製片廠用生成式 AI 廉價取代群演與創作者。
Adobe 在 MAX 展示了 11 項實驗性生成式 AI 原型。包括單幀編輯自動同步全片的影片填充 Fast Fill、物件感知修圖引擎 Stardust,以及動態顯示圖案的互動面料 Primrose 等。這些前沿技術主打跨模態創作提效,未來有望落地產品中。
TikTok 推出 Direct Post 功能,允許第三方應用直接將影片釋出至平臺,首批支援 Adobe Premiere Pro、Adobe Express 和剪映等。創作者在剪輯軟體裡就能設好標題和公開範圍並一鍵傳送,省去來回匯出上傳的麻煩。
美國編劇工會(WGA)正式結束近五個月的罷工。新達成的三年協議嚴格限制生成式 AI:AI 生成內容不能算作源素材,製片廠不得強迫編劇使用 ChatGPT 等工具,也不能用 AI 代替編寫或重寫劇本。這是好萊塢首次為生成式 AI 劃出明確護欄。
YouTube 釋出一系列創作者工具,其中實驗功能 Dream Screen 允許使用者輸入文字提示詞,直接為 Shorts 生成 AI 影片或圖片背景。官方還推出了免費移動剪輯應用 YouTube Create,支援自動字幕與音樂卡點。Dream Screen 將在年內向部分創作者開放測試。
AI 技術公司 Metaphysic 推出 Metaphysic Pro 系統,幫演員管理面部、聲音等資料授權。湯姆·漢克斯、安妮·海瑟薇等已成早期使用者。在好萊塢對 AI 侵權重重擔憂下,它試圖為明星建立數字分身的資料控制權與付費渠道。
Adobe 釋出 Premiere Pro 與 After Effects 測試版,帶來多項 AI 與 3D 更新。Premiere Pro 加入 Enhance Speech 一鍵消除背景雜音,並在文本剪輯中支援批次刪除語氣詞,時間線流暢度提升 5 倍;After Effects 升級了 AI 摳像畫筆。所有功能目前可在 Beta 版體驗,計劃秋季正式推出。
Google 在 Google Ads 中推出 AI 創意指引功能。系統會自動檢查影片前 5 秒是否有 Logo、時長是否匹配目標,以及是否覆蓋橫屏、豎屏和方形畫幅。廣告主還能直接在後臺一鍵呼叫 15 種語言的 AI 配音工具生成旁白。
瑞典初創團隊 Motorica 開啟 MoGen 公測。這款工具基於擴散模型和 150 多種風格資料訓練,能快速生成高質量 3D 角色動畫,支援在 Maya、Blender 以及 Unreal Engine 5 等相容 FBX 的主流軟體中自由修改動作路徑。
研究團隊開源 ICCV 2023 論文專案 StableVideo 程式碼。該工具結合 Text2LIVE 與 ControlNet,通過擴散模型實現文本引導的影片編輯,重點解決跨幀閃爍問題,並最佳化視訊記憶體以支援低視訊記憶體裝置執行。
Amazon 宣佈為 Prime Video 的 NFL「週四夜賽」上線多項 AI 即時預測功能。自研神經網路能根據球員座標與加速度,在場上即時圈出即將突襲的防守球員或跑出空位的接球手,還提供四檔轉換決策機率。功能將在 9 月 14 日新賽季 Prime Vision 訊號中正式亮相。
ElevenLabs 宣佈與科學影片平臺 ScienceCast 及 arXiv 展開合作。ScienceCast 的自動化影片工具接入了 ElevenLabs 的 AI 語音合成能力,能把 arXiv 上的學術論文直接生成為 3 到 5 分鐘的配音簡報,幫科研人員從海量文獻中快速抓重點。
Runway 在其網站和 iOS App 上線「Watch」功能,供使用者分享與瀏覽使用 Runway 工具生成的長影片作品。面對好萊塢因擔憂 AI 搶飯碗而爆發的罷工,其 CEO 表示 AI 不是要替代一切而是增強創作,上線該功能正是為了展示創作者的實際成果。
D-ID 與 ElevenLabs 宣佈達成合作,將後者的優質 AI 語音接入 Creative Reality studio。Pro 訂閱使用者可以一鍵為數字人新增 9 款精選語音,搭配嚴肅、開心等 4 種表情,讓口播影片的語氣更自然、情緒更飽滿。
YouTube 開始測試由 AI 生成的影片摘要,直接出現在搜尋和播放頁,幫觀眾快速判斷影片值不值得看。目前僅面向部分移動端使用者,覆蓋英文的教程、購物和 Vlog。官方強調這不會取代創作者自己寫的內容簡介。
據外媒報道,Netflix 掛出機器學習平臺產品經理崗位,年薪最高達 90 萬美元。該職位旨在利用演算法最佳化影視製作流程。在好萊塢演員工會與編劇工會因 AI 權益保障發起罷工的當下,好萊塢製片方仍在加速押注 AI 技術應用。