UniSH 开源：仅凭一段普通视频，前向跑出 3D 场景与动态人体

UniSH 是一个能从单段普通视频中同时重建 3D 场景与动态人体的开源框架。你只需要给它喂一段实拍视频，它通过一次前向推理，就能把背景结构和动态人物同步抽取出来。

它能做什么

从一段普通的视频输入开始，UniSH 能一次性推断出四层核心信息：周围场景的 3D 结构点云、相机的移动轨迹与参数、带真实公制尺度的 SMPL 动态人体网格，以及人体自身的精细点云。

由于所有数据都在同一个统一空间里生成，人物和背景不会出现悬浮或穿模错位的问题。

哪怕你的拍摄镜头非常晃动，或者视频里的人物动作幅度大、姿态复杂，UniSH 也能输出相对稳定的时序轨迹，允许你从任意视角自由环顾整个动态三维场景。

它是怎么做到的

以前做类似的事情通常很割裂：要么单独建背景场景，要么只估计人体姿态，拼在一起时尺度和空间关系往往全乱了套。此外，真实世界里带高精度 3D 标注的视频数据极少，模型如果全靠合成数据训练，一放到野外实拍视频就会严重失真。

UniSH 放弃了传统方案那种针对单段视频反复计算、迭代调整的慢速优化逻辑，直接做成了一步到位的纯前向推断架构。

为了让模型在没有大规模标注的真实视频上也能泛化，团队设计了两套核心机制。

第一是高频特征蒸馏。框架借助成熟的专家深度模型，把精细的人体表面细节蒸馏过来，大幅提升人体表面的几何精度。

第二是两阶段监督方案。模型先用合成数据学习粗略的空间定位，随后直接在无标注的真实世界视频上微调，通过强制优化 SMPL 骨骼网格与人体点云之间的几何对应关系，把合成数据到真实场景的差距抹平了。

怎么跑起来

UniSH 的完整代码已经发布在 GitHub 上，项目主页也给出了离线安装和本地运行说明。

开发者可以直接克隆仓库，按照环境指引配置依赖，在本地机器上运行视频推理并导出对应的 3D 场景点云与人体姿态数据。

为什么重要

对于从事游戏资产生成、XR 虚拟现实以及具身智能感知的开发者来说，UniSH 拿掉了一道很繁琐的工序。过去把人与环境融合建造成三维模型，不仅步骤多，而且不同工具之间的尺度对齐极难调整，UniSH 证明了端到端一次跑出人和场景是可行的。

更关键的是效率。和传统耗时数十秒甚至几十分钟的单场景优化算法相比，前向推理在速度上具备压倒性优势。如果你手头有包含人体交互的实拍视频需要快速生成 3D 资产，UniSH 非常值得现在拉到本地测试一番。