ProxyPose 現已開源:在 2D 影片裡點一下,就能追蹤物體 6-DoF 三維位姿
多倫多大學團隊公佈開源系統 ProxyPose,只需在普通 2D 影片中點選一個畫素,就能精準追蹤物體的三維位置和旋轉軌跡。它巧妙利用影片模型將目標替換為彩色立方體,再用幾何演算法解算出位姿,即使面對透明、反光或極端遮擋也能穩定追蹤。
多倫多大學團隊公佈開源系統 ProxyPose,只需在普通 2D 影片中點選一個畫素,就能精準追蹤物體的三維位置和旋轉軌跡。它巧妙利用影片模型將目標替換為彩色立方體,再用幾何演算法解算出位姿,即使面對透明、反光或極端遮擋也能穩定追蹤。
研究團隊釋出互動式多人世界模型 MIRA,完全不依賴物理或渲染引擎,僅靠 50 億引數的擴散模型生成畫面。它由 1 萬小時對戰資料訓練而成,單張 B200 即可支援四人 2v2 即時操作與聯機,相關資料集和程式碼已開源。
研究人員在 arXiv 釋出論文提出 PixWorld,把 3D 重建與生成統一在畫素空間擴散框架下。它不再依賴潛空間擴散與 VAE 編碼,而是直接監督渲染影像,並引入幾何感知損失。在場景細節和一致性上超越了過往潛空間生成方法。
Hi3D 推出端到端「3D 列印工作流」。不同於僅供視覺展示的 3D 工具,它能自動生成水密網格,自動拆件並計算球形關節,約 5 分鐘即可匯出排版好的 3MF 列印檔案。最值得關注的是它省去了繁瑣的人工修模。目前提供少量免費額度及訂閱制。
研究團隊公佈單步影像生成方法 RDM 並開原始碼。不同於擴散模型動輒需要數十步去噪,它通過匹配特徵分佈,僅需 1 步就能生成完整影像,甚至將 FLUX.2 壓縮為單步後得分反超 4 步原版。該方法大幅削減了生成延遲與計算成本。
免訓練影像加速方案 Mr. Flow 開源並推出 ComfyUI 外掛。它先在低解析度下快速生成主體,再放大加噪並用高解析度完成細節清理,無需重新訓練即可將主流模型提速 9 到 21 倍,畫質幾乎無損。
Meta 推出 3D 人體動畫模型 LUNA。它徹底繞開了傳統的骨骼繫結與人體擬合,只需幾張靜態照片,就能靠動作影片、關鍵點甚至手繪草圖直接驅動 3D 高斯形變。製作逼真 3D 人物動畫不必再忍受衣物變形與肢體僵硬。
Google 面向開發者推出 Nano Banana 2 Lite 與 Gemini Omni Flash 兩款生成模型。前者 4 秒即可出圖,生成 1000 張圖僅需 0.034 美元;後者支援通過自然語言對話編輯影片,每秒影片定價 0.10 美元。目前兩款模型已上線 Google AI Studio 和 Gemini API。
研究團隊開源無需額外訓練的 4D 場景重建系統 OVOW,能把單段普通影片拆解為帶動畫、可直接做物理模擬的獨立 3D 資產。它串聯 Qwen3-VL 與 SAM 3 等模型完成識別與姿態估計,匯出完整場景。程式碼現已公開,受元件協議限制僅限非商業研究,且需 40GB 視訊記憶體。
Google 宣佈向符合條件的美國使用者免費開放 Gemini 個性化影像生成。授權後,它可呼叫 Gmail 與 Google 相簿等資料,直接根據真實相簿與偏好生成專屬影像,無需手動傳圖。該功能需使用者主動開啟,可在設定中隨時調整。
ComfyUI 開啟 Comfy MCP 公開測試,讓 Claude 等 AI 智慧體能直接接入 ComfyUI。使用者用自然語言即可讓智慧體自主搜尋模型、搭建並執行影像與影片工作流,免去手動連線和配節點。目前處於公測階段,支援免費接入試用。
研究團隊公佈 ViDiHand,利用預訓練影片擴散模型從影片中精確重建 3D 雙手動作。它無需額外的手部檢測器,即使手指嚴重互遮或部分出畫也能穩定還原,為人形機器人和具身智慧訓練提供了高精度的互動資料。
開發者 eric-venti-seeds 開源了適配 FLUX.2-klein-9B 的 Sun Direction LoRA。使用者只要在工作流中放入一顆光照參考球,就能精準指定室外場景的太陽仰角與旋轉方向。該方案先將畫面轉為無定向光的陰天基底再重新打光。
研究團隊推出 3D 物理模擬模型 PhysiFormer 並開原始碼。輸入 3D 物體網格、初速度以及剛性或彈性材質,它就能在真實座標系中直接生成連續運動與形變軌跡。該模型由超 10 萬條模擬軌跡訓練而成,能讓死板的 3D 模型真正遵循物理規律動起來。
研究團隊釋出即時攝影指導多模態模型 ShutterMuse。該模型基於 13 萬條解釋標註樣本訓練,推理速度比 GPT-Image-2 快 20 倍,能在按下快門前即時提供構圖決策並推薦被攝姿態,補齊了模型在現場互動式拍攝上的空白。
NVIDIA 推出逆向渲染方法 NeuMatEx,能將多視角照片轉化為高逼真 3D 神經材質。它結合先驗模型與蒙特卡羅路徑追蹤,僅需 4 毫秒渲染延遲,就能精確還原車漆等複雜反光,避免將環境光影誤烤進貼圖。
Figma 在 Config 大會上推出設計智慧體。設計師輸入提示詞,AI 就能直接在畫布上生成並執行可複用的定製外掛或 WebGPU 著色器,全程無需配置開發環境。以往必須找工程師協助的指令碼工具,現在一句話就能自制並共享給全團隊。
創作者推出開源 Skill「XHS Visual Director」,專門解決小紅書圖文裡文字與配圖脫節的痛點。輸入主題後,它會先分析選題型別並規劃 6 至 8 頁結構,統一輸出配色構圖規範、逐頁生圖提示詞、釋出文案及自檢清單。
Google 為 Google Flow 引入 Maps Imagery Grounding,支援呼叫 Google Maps 街景生成圖片與影片。使用者在提示詞裡輸入具體地點或地標,AI 就會參考真實街景細節構圖。最值得關注的是生成場景有了現實座標,不再憑空捏造。不過目前僅支援美國地區。
Krea 宣佈開源影像生成模型 Krea 2 的權重,推出 Raw 與 Turbo 兩個版本。Raw 是訓練中期的未蒸餾模型,專供開發者微調;Turbo 則是蒸餾後的快速版本,兼顧速度與審美多樣性。這意味著外部開發者可以直接本地部署並做定製開發。