SWM 首爾世界模型亮相:結合真實街景 RAG,生成數公里漫遊影片
研究團隊提出首爾世界模型(SWM),將真實街景影像作為 RAG 檢索錨點引導影片自迴歸生成。它解決了長影片誤差累積的問題,支援數百米至數公里尺度的真實街道漫遊,還能用文本提示為城市新增海嘯等場景變化。
研究團隊提出首爾世界模型(SWM),將真實街景影像作為 RAG 檢索錨點引導影片自迴歸生成。它解決了長影片誤差累積的問題,支援數百米至數公里尺度的真實街道漫遊,還能用文本提示為城市新增海嘯等場景變化。
阿里開源影視配音模型 Fun-CineForge。輸入影片與文本,模型通過引入「時間模態」識別角色並對準唇形,即便面部被遮擋也能卡準節奏發聲。最值得關注的是它支援多角色自然切換,讓自動配音真正做到了音畫對齊。
研究團隊開源 Pulse of Motion,專門解決 AI 影片動作過快或過慢的「計時幻覺」。該模型不到 2GB,能直接從畫面運動推算出真實的物理幀率,並據此校正播放節奏。普通消費級裝置就能跑,讓 AI 畫面裡的動作真正符合現實物理規律。
字節跳動在週末暫停了 AI 影片模型 Seedance 2.0 的全球上線。此前美國電影協會發函警告,美參議員也要求其立即下架,指控其生成超人打滅霸等素材侵犯版權與肖像權。位元組表示正加強防護措施,防範未經授權的侵權行為。
AI 專案 Retime GS 亮相。它只需普通 2D 影片幀作為輸入,就能生成支援任意視角觀看的全身 4D 場景;即使原影片丟幀卡頓,也能通過改進的 4D Gaussian Splatting 補全空缺,比同類方法更流暢、偽影更少。
NBCUniversal 宣佈為 Peacock 應用引入多項 AI 功能。今夏上線的「Your Bravoverse」由 Andy Cohen 數字分身導覽,靠智慧體與計算機視覺從 5000 小時真人秀中拼出超 6000 億種豎屏播放組合;今春還將測試用 AI 即時裁切的 9:16 比例 NBA 賽事直播。
OpenAI 宣佈升級基於 Sora 2 的 Video API。開發者現可生成長達 20 秒的片段,並支援自定義角色與物體、16:9 及 9:16 畫幅、場景續寫和批次生成任務。這為影片應用的開發流程帶來了更高的靈活度與控制力。
據 The Information 報道,OpenAI 計劃將 Sora 影片生成器直接整合至 ChatGPT 中。此前 Sora 僅作為獨立網頁和應用執行。在近期因軍方合作引發解除安裝潮、面臨 Claude 激烈競爭的背景下,此舉旨在挽回使用者,但同時也可能增加算力成本並加劇深偽濫用風險。
Runway 宣佈成立內部孵化器 Runway Labs,由聯合創始人 Alejandro Matamala Ortiz 領銜。該實驗室專注於探索生成式影片與通用世界模型的前沿應用,計劃在電影、醫療、教育和遊戲等領域快速構建原型產品。Runway 認為 AI 影片已達轉折點,正對外招募工程師與前創業者。
一體化數字人模型 ID Laura 開源。它基於 LTX 2.3,改變了以往先克隆聲音再匹配口型的兩段式做法,只需輸入單張人像、參考音訊和臺詞,就能由單個模型同步生成影片、克隆語音與環境音。目前執行至少需 24GB 視訊記憶體,推薦 48GB。
本週在 GDC 上,NVIDIA 宣佈為 ComfyUI 推出全新 App View 模式,並上線 RTX 影片超解析度節點。使用者無需連線即可輸入提示詞生成影片;藉助 RTX 50 系列顯示卡的 NVFP4 格式與超分技術,4K 放大提速 30 倍,視訊記憶體佔用降低 60%。
倫敦大學學院團隊在《eLife》發表研究,僅憑小鼠視覺皮層的單細胞腦活動記錄,成功重建出小鼠看過的 10 秒影片。模型還結合了運動與瞳孔變化等內部生理狀態,納入神經元越多重建越準。這為解析大腦如何過濾和修飾視覺現實提供了全新工具。
開源影片摳像模型 MatAnyone 2 正式上線,無需綠幕就能從複雜運動影片中高精度提取人像遮罩。模型體積僅約 140MB,對髮絲細節處理乾淨,已在 GitHub 開源並在 Hugging Face 開放免費線上體驗。
Tavus 推出多模態感知系統 Raven-1,能即時捕捉對話者的語氣、微表情和姿態。它拋棄了傳統的喜怒哀樂標籤,直接輸出自然語言描述,重新整理延遲在 300 毫秒內,並支援相容 OpenAI 的工具呼叫。這意味著 AI 終於不再只看轉寫文字,能真正理解言外之意。
研究員開源全景影片模型 CubeComposer,能把單臺相機拍攝的普通影片轉化為 360 度全景影片,並支援 4K 增強。它通過擴散模型拆解球體的六個面,用稀疏注意力機制補全鏡頭背後的畫面,整體質量超過 Argus。不過目前背後的腦補畫面仍有些許畸變。
騰訊混元團隊提出特效定製框架 EffectMaker,能把參考影片中的視覺特效直接克隆到新畫面中。它通過多模態大模型與 Diffusion Transformer 雙路引導,無需針對單個特效微調,並配套構建了含 13 萬條影片的資料集。
Lightricks 釋出開源音影片模型 LTX-2.3 及免費本地編輯器 LTX Desktop。新版本重構了 VAE 與聲碼器,減少圖生影片畫面卡頓並提升音訊對白質量,還首次原生支援 1080×1920 豎屏生成。權重已在 Hugging Face 開源,年營收 1000 萬美元以下可免費商用。
開源專案 RealWonder 釋出,支援在單張靜態圖片上施加虛擬外力,即時模擬物體在水流或風吹下的受力運動。它以物理模擬作為橋梁,在單張 H200 上達到 480p、13 幀/秒的生成速度。目前程式碼與模型權重均已開源。
Luma 推出創意智慧體平臺 Luma Agents,由底層統一多模態模型 Uni-1 驅動,支援文本、影像、影片和音訊的端到端創作。它不僅具備類似程式碼智慧體的自我反思和糾錯迭代能力,還能協同排程 Google Veo 3 與 ElevenLabs 等外部模型。目前該平臺已開放 API,並逐步向企業灰度鋪開。
Netflix 宣佈收購演員兼導演班·艾佛列克創立的 AI 影視技術公司 InterPositive。該公司利用專業攝影棚實拍資料集,訓練理解剪輯連貫性與布光等鏡頭邏輯的模型。阿弗萊克將出任 Netflix 高階顧問,強調工具旨在輔助創作者而非取代人類。