Runway 釋出機器人模型 Praxis-1:物理 AI 落地還需 12 到 18 個月
據報道,Runway 在峰會上推出兩款新品:全流程廣告智慧體 Runway Ads,以及開源權重的機器人世界動作模型 Praxis-1。聯合 CEO 表示物理 AI 走向實際投產還需 12 到 18 個月,並提醒美國仍過度沉迷於語言模型,而中國已有約 70% 的 token 消耗流向影片模型。
據報道,Runway 在峰會上推出兩款新品:全流程廣告智慧體 Runway Ads,以及開源權重的機器人世界動作模型 Praxis-1。聯合 CEO 表示物理 AI 走向實際投產還需 12 到 18 個月,並提醒美國仍過度沉迷於語言模型,而中國已有約 70% 的 token 消耗流向影片模型。
本週,AI 影片記憶系統 Mosaic Chunk 正式開源。它通過選擇性記住早期幀的關鍵特徵,解決了物體離開畫面數秒後模型就「失憶」變形的難題。專案已開放文生影片(基於 MiniMax H3)和圖生影片(基於 Ling World Infinity)兩套模型,支援本地執行。
AI 初創公司 Tavus 釋出全雙工互動模型 Griffin。它把全場景影片生成、聽覺與視覺感知融為一體,能邊聽邊點頭、自然插話,測試中讓 48% 的人誤以為在和真人視訊通話。目前輕量版 Griffin-Lite 僅面向小範圍早期測試者開放。
Runway 釋出效果營銷引擎 Runway Ads,能根據品牌物料自動生成影片和影像廣告,並直接釋出至 Meta、Google 和 TikTok。系統會回傳消耗資料,自動迭代下一輪素材。Runway 稱其內部測試使廣告周產量從 77 條激增至 900 條,獲客成本降低 41%。
AI 運動控制系統 Terra 正式開源。它不同於直接控制關節旋轉的傳統做法,而是模擬人體肌肉收縮拉動骨骼,基於 9 小時運動資料訓練,能讓虛擬人在斜坡、臺階等複雜地形上行走,並支援跳躍和翻滾。程式碼採用 Apache 2.0 協議開放。
NVIDIA 開源多模態模型 PixelUMM。它完全去掉了傳統的 VAE 與視覺編碼器,基於 Qwen3-8B 骨幹網路,直接在原始畫素空間同時完成影像與影片的理解和生成。最值得關注的是,單一架構通吃四項任務,大幅簡化了多模態管線。
NVIDIA 團隊釋出影片精煉模型 SoL-Refiner。它通過單步去噪將低解析度影片直接提升至最高 4K,可搭配 MiniMax H3 等多種基礎生成器。測試顯示其能將 H3 生成提速達 27 倍,但增強後部分畫面細節會與原影片略有差異。
InSpatio 開源 4D 世界模型 InSpatio-World 1.5。它支援輸入單張圖片、全景圖或影片,通過預測新視角沿著指定鏡頭軌跡生成漫遊畫面,還能保留動作並製作「子彈時間」效果。模型體積不到 6GB,大多數消費級顯示卡即可執行。
研究團隊開源影片蒸餾方法 PDMD。它將 MiniMax-H3 原本需要 20 到 30 步的影片生成流程直接壓縮至 4 步。最值得關注的是,它修正了評估器的錯誤指導,避免傳統蒸餾中畫面越練越糊的問題,運動表現和細節明顯更優。
Google 推出 Gemini 3.8 Live with Live Avatar,上線 Gemini Enterprise。該功能將近即時影片生成與語音結合,帶來能聽、能看、能說的動態數字人,支援 97 種語言對口型同步與表情適配,並能在後臺非同步呼叫工具的同時保持對話不中斷。
Google 宣佈向所有個人及 Workspace 賬號免費開放 Google Vids。該工具接入 Gemini Omni 1.1 Flash,支援生成 1080p 影片、平滑擴充套件場景並精確控制剪輯時長,生成內容均嵌入 SynthID 數字水印。支援 100 多種語言的 AI 配音功能也即將上線。
研究者公佈互動媒體演示 ACTx486,能把現成播客影片變成可互動內容。觀眾輕點畫面即可打斷提問、切換語言或插入 3D 物體,畫面中的嘉賓會依據公開記錄生成回應,隨後無縫接回原片。不過目前單次互動生成需數分鐘,公開演示均為提前預渲染。
Google 為 Google Flow 釋出 6 款由行業創意人士定製的 AI 工具。新工具覆蓋音效後期、動態字幕、社交封面圖、3D 空間材質貼圖以及指令碼轉動效等場景。使用者既能直接體驗,也可以複製或直接描述需求搭建專屬工具。
YouTube 推出多項 AI 創作者工具。Shorts 與 YouTube Create 接入 Gemini 對話式剪輯助手,支援通過聊天調整畫面並隨節奏同步音樂;Studio 還新增最多 3 個版本的影片 A/B 測試,並將人臉檢測擴充套件至聲音檢測以防範深度偽造。
Meta 在 Connect 2026 上為智慧眼鏡 Meta Ray-Ban Display 帶來多項更新。導航現可結合眼前地標(如「在黃色房子左轉」)指路,並新增騎行與公交路線;新功能 Hologram 僅憑聲音就能推斷表情並生成逼真數字人進行視訊通話。裝置還支援杜比全景聲錄製,並拓展至英法德等 5 國。
PixVerse 推出即時互動世界模型 PixVerse R2。它把多模態理解與視聽生成整合到同一個模型中,使用者可以通過互動直接影響場景和角色,甚至用語言即時改變故事走向。最關鍵的是,它能在持續生成後續畫面的同時,保持整個世界狀態前後一致。
Tavus 釋出即時人體渲染模型 Phoenix-4.5。新架構放棄區域性面部貼圖,改為單次生成包含面部、軀幹與背景的完整畫面,音畫延遲降至 134 毫秒。它還首次支援單張圖零樣本快速預覽,並將微調耗時縮短至兩小時。
騰訊團隊釋出互動式影片世界模型 WorldCrafter,通過隱式 3D 感知記憶機制,解決鏡頭移開後再轉回來物體變形的問題。它支援從單張圖片或文本生成可由相機控制的漫遊影片,並藉助蒸餾實現即時流式互動。
研究團隊開源視覺生成框架 GAE。它把幾何特徵直接壓縮排 128 通道的潛空間,生成畫面時能同步解碼出深度圖、相機軌跡和 3D 點雲。最值得關注的是,這種幾何原生設計讓相機軌跡誤差減半,且權重不到 12GB,中端顯示卡即可本地執行。
ElevenLabs 推出 AI 原生影片編輯器 Studio 4.0,將影片、影像、超 1 萬種聲音的配音、音樂及音效生成整合到同一時間軸中。內建的 Studio Agent 可逐幀分析畫面生成初剪,創作者無需在多款工具間切換匯出。