Runway 推出 Aleph 2.0 與 Edit Studio:只改你想改的區域性畫面
Runway 釋出全新影片編輯模型 Aleph 2.0 並上線 Edit Studio。它支援精準定向修改,使用者調整特定元素時,畫面其餘部分完全不受影響。這直接解決了 AI 影片編輯常誤傷周邊背景的痛點,大幅提升了創作者的控制精度。
Runway 釋出全新影片編輯模型 Aleph 2.0 並上線 Edit Studio。它支援精準定向修改,使用者調整特定元素時,畫面其餘部分完全不受影響。這直接解決了 AI 影片編輯常誤傷周邊背景的痛點,大幅提升了創作者的控制精度。
Black Forest Labs 宣佈知名導演 Martin Scorsese 擔任其顧問,協助指導以人類審美和工藝為核心的視覺 AI 研發。雙方還進行了使用影像生成模型 FLUX 製作故事板分鏡的實際創作合作。
TwelveLabs 釋出首款面向終端使用者的 AI 創作副駕 Rodeo。依託 Marengo 3.0 與 Pegasus 1.5 大模型,它能根據自然語言理解長影片的畫面與上下文,在龐大素材庫中自動檢索並拼貼出成片,省去人工逐秒翻查素材的繁瑣工作。
百度 ERNIE 團隊開源音影片同步生成模型 NAVA,引數量僅 63 億。它告別了先渲染畫面再後期配音的路線,直接原生聯合生成畫面與雙聲道音訊,支援參考音訊控制音色。8 卡並行約 1 分鐘即可生成 1 分鐘 720p 音畫同步影片。
馬普所和 CMU 開源無標記動捕系統 MAMMA,僅用 4 臺普通攝像機甚至手機拍攝的多視角影片,就能轉成高精度 3D 人體模型。它無需穿戴任何物理標記點,能精準追蹤跳舞、擁抱等複雜互動,還能做出《駭客帝國》同款子彈時間效果。程式碼與 Web UI 已在 GitHub 開放。
NVIDIA 開源影片編輯系統 SANA-Streaming,僅用 20 億引數即可在播放過程中即時替換影片中的服裝、背景與場景風格。藉助混合注意力架構與運算元最佳化,它在 RTX 5090 上實現 720p 解析度下 24 FPS 端到端即時編輯,並保持原動作穩定。程式碼與權重已公開發布。
ElevenLabs 推出新一代配音模型 Dubbing v2。新模型主打跨語言情緒與表演細節的保留,能把原聲的情緒起伏完整遷移到目標語言中。這意味著 AI 配音不再只是乾癟的臺詞朗讀,影片出海本地化聽起來將更像原聲出演。
NVIDIA 釋出多智慧體互動世界模型 Gamma World。它把過去單人控制的世界模型擴充套件到多玩家和多機器人場景,無需預設幾何形狀即可按各智慧體動作以 24 FPS 即時生成共享環境與視角。這意味著未來遊戲與機器人模擬可以直接在生成世界裡跑。
Runway 推出 Runway MCP,將影像和影片生成能力接入 Claude、ChatGPT、Cursor 和 Replit 等平臺。使用者無需離開當前工作介面,就能直接呼叫 Gen-4.5、Kling 等模型生成內容。這意味著開發者和創作者可以直接在日常對話和程式設計工具中排程多模態模型。
YouTube 宣佈升級 AI 內容標籤。逼真或經實質性 AI 修改的影片標籤將移至更顯眼位置。平臺自 5 月起引入自動檢測,創作者未主動申報也會被系統自動打標。被誤標可在 YouTube Studio 修改,標籤不影響推薦和變現。
Amazon MGM Studios 宣佈設立生成式 AI 創作者基金,並聯手 AWS 推出製作平臺 Project Nara。平臺能打通 Blender、Maya 等專業工具,首批已為 Prime Video 批准三部動畫劇集,試播集製作週期被壓縮至五週。
阿里團隊公佈數字人音影片生成框架 StreamChar,將長程編排與短視窗去噪解耦。它利用 LLM 與音影片聯合 DiT 架構,配合記憶機制防止身份漂移與音畫脫節,在單張 H100 上跑出即時流式生成。全身數字人離即時互動和虛擬主播更近了一步。
美團開源數字人影片模型 LongCat-Video-Avatar 1.5,只需一張參考圖和一段音訊,就能生成動作協調的說話影片。模型支援動漫與寫實等多種風格,還攻克了多人對話場景,蒸餾後僅需 8 步生成,效率提升約 15 倍。16GB 的 INT8 權重與程式碼已開放下載。
研究團隊公佈 Pantheon360 框架。它利用顯式 3D 快取作為幾何骨架,讓擴散模型專注渲染紋理,從稀疏全景輸入生成高保真 360 度影片。這意味著數字孿生和 VR 場景有了更穩定、不易漂移的全景生成方案。
研究團隊開源了 FPS 互動式世界模型 SCOPE。它基於 Wan2.2 打造,支援移動與開火等 10 自由度控制,能將連續按鍵操作直接生成為連貫的遊戲畫面,並支援未知場景的零樣本遷移。目前模型權重、程式碼和資料集均已在 GitHub 開源。
Runway 釋出影片編輯工具 Aleph 2.0,已在網頁端全新的 Edit Studio 上線。使用者只需在影片中修改單幀並預覽效果,Aleph 2.0 便會自動將修改連貫應用到整個影片片段,省去了以往逐幀手動調整的繁瑣流程。
Arq.live 推出語音生成影像系統 GLITCH,導演無需手打提示詞,直介面述即可完成選角、搭景與排程走位。系統後臺由多個 AI 智慧體像電影攝製組一樣協同即時出片,在單檯筆記本電腦上用時不到 8 分鐘就生成了一部完整短片。
字節跳動開源統一影片框架 Bernini,將多模態語義規劃器與 DiT 渲染器結合。它支援文本、影像和影片混合輸入,單模型覆蓋文生影片與影片編輯等多項任務。最值得關注的是,它先規劃語義再生成畫面,讓 AI 影片編輯更精準可控;完整推理程式碼與模型權重均已放出。
研究人員公佈 Lift4D 框架。它只需一段普通的單視角 2D 影片,就能重建出包含完整外觀與運動變形的 4D 場景,還能自動腦補鏡頭未拍到的死角與遮擋區域。這意味著日常單機位拍攝的動態物體,也能實現 360 度環視檢視。
Google 宣佈 Gemini 月活突破 9 億,並推出多項 Agent 更新。核心是全天候雲端智慧體 Gemini Spark,合上電腦也能在後臺打理郵件與文件;同步上線的還有影片生成模型 Gemini Omni 與早報功能 Daily Brief。