Google Flow 接入街景:輸入真實地點,AI 就能定點生成影片
Google 為 Google Flow 引入 Maps Imagery Grounding,支援呼叫 Google Maps 街景生成圖片與影片。使用者在提示詞裡輸入具體地點或地標,AI 就會參考真實街景細節構圖。最值得關注的是生成場景有了現實座標,不再憑空捏造。不過目前僅支援美國地區。
Google 為 Google Flow 引入 Maps Imagery Grounding,支援呼叫 Google Maps 街景生成圖片與影片。使用者在提示詞裡輸入具體地點或地標,AI 就會參考真實街景細節構圖。最值得關注的是生成場景有了現實座標,不再憑空捏造。不過目前僅支援美國地區。
開源影片生成專案 Domain Shuttle 釋出,支援輸入多張參考圖生成影片並保持主體一致。它能把真人、2D 動漫和 3D 角色放進同一場景互動,還支援通過文本跨風格轉換。模型基於 Wan 2.2 構建,權重約 35GB,已在 GitHub 開原始碼。
快手 Kling 團隊本週推出 Omni Director 研究預覽。它不再依賴文本提示詞調鏡頭,而是能直接學習參考影片的運鏡軌跡、切鏡節奏甚至子彈時間特效,並驅動新圖片生成影片。目前該功能尚未正式開放使用。
Google DeepMind 宣佈與電影製片廠 A24 達成長期研發合作,將前沿技術直接嵌入影視創作流程中。A24 的創作者將參與塑造未來的 AI 工具並提供一線反饋,Google 同時也對 A24 進行了投資。這項合作旨在縮短尖端技術與下一代娛樂內容的距離。
xAI 全面上線影片生成模型 Grok Imagine Video 1.5,並登頂圖生影片競技場。該模型採用自迴歸架構 Aurora,自帶音畫同步,720p 影片每秒定價 0.14 美元,比 Sora 2 Pro 便宜約 86%。不過其單次輸出上限為 15 秒 720p。
Adobe 宣佈將 Firefly AI 助手擴充套件至 Premiere、Illustrator、InDesign 和 Frame.io。助手能幫剪輯師分類素材並批次重新命名剪輯,幫設計師重組圖層與排查缺漏字型。Firefly 還加入 Elements 和 Projects 資產庫功能,並計劃支援 Gemini 和 Slack。
Ai2 推出 3D 運動預測模型 MolmoMotion 及 116 萬條軌跡資料集。它基於 Molmo 2,輸入影片首幀、指定點與文字指令,即可預測物體未來數秒在 3D 空間中的運動軌跡。在模擬抓取任務中,其成功率達 76.3%,還能用於輔助可控影片生成。程式碼與權重均已開源。
Palmier 推出專為 Claude 打造的開源 Mac 原生 AI 影片編輯器。它允許使用者在時間線上直接用 AI 剪輯、整理和生成素材,並提供免費的本地語義檢索與轉寫。軟體支援自帶 Anthropic API Key 或 MCP 連線,付費版還可接入外部生成模型。
阿里雲宣佈推出開放式世界模型產品 HappyOyster 1.0。它支援原生多模態音影片聯合生成,能在生成過程中持續接收指令並即時響應。使用者不僅能隨時叫停並改寫劇情,還能用 WASD 鍵在畫面中走動探索,讓影片生成真正變成可玩的遊戲世界。
FlexAvatar 提出一種基於 3D 高斯潑濺的新架構,僅憑單張圖片就能在 2 分鐘內生成完整的 360 度可動 3D 頭部模型。團隊通過專屬標記解耦驅動訊號與視角,混合單目和多視角資料訓練,在 RTX 3090 上僅耗 1.7GB 視訊記憶體即可跑出 20 FPS 的即時渲染與表情驅動。
ByteDance 旗下 BytePlus 上線影片生成模型 Seedance 2.0 Mini。新模型支援以影像、影片和音訊作為參考輸入生成影片,專為高頻日常製作打造,速度更快,定價僅為標準版 Seedance 2.0 的約 50%。
影片編輯框架 PermaVid 開源,專門解決 AI 影片編輯裡的時序一致性難題。它把空間上下文拆分成外觀和 3D 深度結構兩個獨立記憶庫,不管是全域性換風格還是區域性改物體,都不會丟失原有的幾何結構,程式碼已支援本地部署執行。
週三,Meta 預告影片剪輯工具 Edits 將加入 AI 助手和桌面版。AI 助手能讀取 Instagram 播放量與留存資料,直接幫創作者構思選題並推薦熱門音訊;桌面版則支援跨端同步以對標剪映。應用內的實驗性 Beta 標籤與更細緻的受眾分析也在當天同步上線。
AI 影片公司 Runway 宣佈深化與好萊塢製片廠獅門影業的合作。雙方將啟動原創 IP 聯合開發計劃,推動合作從單純的工具授權跨入共同創作新內容。這標誌著 AI 技術正進一步切入好萊塢主流製片的核心流程。
研究人員公佈影片世界模型 MoVerse,僅憑單張普通影像即可構建支援即時互動漫遊的 360° 3D 場景。模型將空間構建與影片渲染解耦,藉助 3D 高斯技術,在單張 RTX 4090 顯示卡上實現每秒 8 幀即時渲染。目前程式碼與模型仍在合規審查中,預計後續開源。
ElevenLabs 在 ElevenCreative 中上線 Avatars 功能。使用者只需選定數字人、輸入指令碼並選擇聲音,即可在單一介面完成口型同步影片生成,還支援在多場景中保持角色一致性,目前面向所有付費方案開放。
KAIST AI 與 AIPARK 推出首個用於 V2V 口型同步的自迴歸擴散模型 Lip Forcing。通過將 14B 教師模型蒸餾為僅需兩步去噪的學生模型,1.3B 版本在單張 H100 上達 31 FPS,首次突破即時同步門檻。
HeyGen 推出 HyperFrames 工具,作為官方聯結器接入 Claude 與 Claude Code。它通過 MCP 執行,使用者只需輸入文字描述,就能直接生成帶旁白、字幕和動效的場景並匯出 MP4,無需使用任何影片剪輯軟體。
ZAI 開源影片動作遷移模型 SCAIL-2,無需中間骨架即可實現端到端角色動畫。它支援多角色大幅度打鬥與角色替換,甚至能把動作遷移給火烈鳥或誇張身材的異形生物。不過模型權重總計達 81GB,普通消費級顯示卡需要等待量化版本。
第一人稱世界模擬器 Anchor World 公佈。它支援輸入 3D 人體動作與場景錨點圖,直接渲染出人在空間中走動並與水槽、刀具互動的第一人稱影片。這種動作驅動機制有望用於生成人形機器人的訓練資料;目前程式碼正處於稽核階段。