ProxyPose 现已开源:在 2D 视频里点一下,就能追踪物体 6-DoF 三维位姿
多伦多大学团队公布开源系统 ProxyPose,只需在普通 2D 视频中点击一个像素,就能精准追踪物体的三维位置和旋转轨迹。它巧妙利用视频模型将目标替换为彩色立方体,再用几何算法解算出位姿,即使面对透明、反光或极端遮挡也能稳定追踪。
多伦多大学团队公布开源系统 ProxyPose,只需在普通 2D 视频中点击一个像素,就能精准追踪物体的三维位置和旋转轨迹。它巧妙利用视频模型将目标替换为彩色立方体,再用几何算法解算出位姿,即使面对透明、反光或极端遮挡也能稳定追踪。
研究团队发布交互式多人世界模型 MIRA,完全不依赖物理或渲染引擎,仅靠 50 亿参数的扩散模型生成画面。它由 1 万小时对战数据训练而成,单张 B200 即可支持四人 2v2 实时操作与联机,相关数据集和代码已开源。
研究人员在 arXiv 发布论文提出 PixWorld,把 3D 重建与生成统一在像素空间扩散框架下。它不再依赖潜空间扩散与 VAE 编码,而是直接监督渲染图像,并引入几何感知损失。在场景细节和一致性上超越了过往潜空间生成方法。
Hi3D 推出端到端「3D 打印工作流」。不同于仅供视觉展示的 3D 工具,它能自动生成水密网格,自动拆件并计算球形关节,约 5 分钟即可导出排版好的 3MF 打印文件。最值得关注的是它省去了繁琐的人工修模。目前提供少量免费额度及订阅制。
研究团队公布单步图像生成方法 RDM 并开源代码。不同于扩散模型动辄需要数十步去噪,它通过匹配特征分布,仅需 1 步就能生成完整图像,甚至将 FLUX.2 压缩为单步后得分反超 4 步原版。该方法大幅削减了生成延迟与计算成本。
免训练图像加速方案 Mr. Flow 开源并推出 ComfyUI 插件。它先在低分辨率下快速生成主体,再放大加噪并用高分辨率完成细节清理,无需重新训练即可将主流模型提速 9 到 21 倍,画质几乎无损。
Meta 推出 3D 人体动画模型 LUNA。它彻底绕开了传统的骨骼绑定与人体拟合,只需几张静态照片,就能靠动作视频、关键点甚至手绘草图直接驱动 3D 高斯形变。制作逼真 3D 人物动画不必再忍受衣物变形与肢体僵硬。
Google 面向开发者推出 Nano Banana 2 Lite 与 Gemini Omni Flash 两款生成模型。前者 4 秒即可出图,生成 1000 张图仅需 0.034 美元;后者支持通过自然语言对话编辑视频,每秒视频定价 0.10 美元。目前两款模型已上线 Google AI Studio 和 Gemini API。
研究团队开源无需额外训练的 4D 场景重建系统 OVOW,能把单段普通视频拆解为带动画、可直接做物理模拟的独立 3D 资产。它串联 Qwen3-VL 与 SAM 3 等模型完成识别与姿态估计,导出完整场景。代码现已公开,受组件协议限制仅限非商业研究,且需 40GB 显存。
Google 宣布向符合条件的美国用户免费开放 Gemini 个性化图像生成。授权后,它可调用 Gmail 与 Google 相册等数据,直接根据真实相册与偏好生成专属图像,无需手动传图。该功能需用户主动开启,可在设置中随时调整。
ComfyUI 开启 Comfy MCP 公开测试,让 Claude 等 AI 智能体能直接接入 ComfyUI。用户用自然语言即可让智能体自主搜索模型、搭建并运行图像与视频工作流,免去手动连线和配节点。目前处于公测阶段,支持免费接入试用。
研究团队公布 ViDiHand,利用预训练视频扩散模型从视频中精确重建 3D 双手动作。它无需额外的手部检测器,即使手指严重互遮或部分出画也能稳定还原,为人形机器人和具身智能训练提供了高精度的交互数据。
开发者 eric-venti-seeds 开源了适配 FLUX.2-klein-9B 的 Sun Direction LoRA。用户只要在工作流中放入一颗光照参考球,就能精准指定室外场景的太阳仰角与旋转方向。该方案先将画面转为无定向光的阴天基底再重新打光。
研究团队推出 3D 物理模拟模型 PhysiFormer 并开源代码。输入 3D 物体网格、初速度以及刚性或弹性材质,它就能在真实坐标系中直接生成连续运动与形变轨迹。该模型由超 10 万条模拟轨迹训练而成,能让死板的 3D 模型真正遵循物理规律动起来。
研究团队发布实时摄影指导多模态模型 ShutterMuse。该模型基于 13 万条解释标注样本训练,推理速度比 GPT-Image-2 快 20 倍,能在按下快门前实时提供构图决策并推荐被摄姿态,补齐了模型在现场交互式拍摄上的空白。
NVIDIA 推出逆向渲染方法 NeuMatEx,能将多视角照片转化为高逼真 3D 神经材质。它结合先验模型与蒙特卡罗路径追踪,仅需 4 毫秒渲染延迟,就能精确还原车漆等复杂反光,避免将环境光影误烤进贴图。
Figma 在 Config 大会上推出设计智能体。设计师输入提示词,AI 就能直接在画布上生成并运行可复用的定制插件或 WebGPU 着色器,全程无需配置开发环境。以往必须找工程师协助的脚本工具,现在一句话就能自制并共享给全团队。
创作者推出开源 Skill「XHS Visual Director」,专门解决小红书图文里文字与配图脱节的痛点。输入主题后,它会先分析选题类型并规划 6 至 8 页结构,统一输出配色构图规范、逐页生图提示词、发布文案及自检清单。
Google 为 Google Flow 引入 Maps Imagery Grounding,支持调用 Google Maps 街景生成图片与视频。用户在提示词里输入具体地点或地标,AI 就会参考真实街景细节构图。最值得关注的是生成场景有了现实坐标,不再凭空捏造。不过目前仅支持美国地区。
Krea 宣布开源图像生成模型 Krea 2 的权重,推出 Raw 与 Turbo 两个版本。Raw 是训练中期的未蒸馏模型,专供开发者微调;Turbo 则是蒸馏后的快速版本,兼顾速度与审美多样性。这意味着外部开发者可以直接本地部署并做定制开发。