腾讯推出 VerseCrafter：单图生成视频，可在 Blender 里拖运镜和物体轨迹

用 AI 做视频的人大概都经历过这种崩溃：提示词写了八百遍「镜头向右平移、小狗向前跑」，模型生成的画面却总是各走各的，运镜像喝醉了酒，物体动起来不是凭空变形就是瞬移。

腾讯等研究人员带来的 VerseCrafter 想把导播权真正交回人手里。简单来说，只要给它一张普通的静止图片，你就能在三维软件 Blender 里像拍真人电影一样，手动画好摄像机的滑轨，顺便拎着画面里的车或人拉出一条移动路线，模型就会按你画好的规矩生成连贯的动态视频。

把 2D 图片搬进 3D 演播室

传统的生视频模型大多是在像素层面对抗概率，所谓的「镜头控制」往往只是碰运气。VerseCrafter 的思路更偏向图形学：先解构，再重组。

拿到单张参考图后，系统先用 MoGe 估算深度，再用 SAM 2 抠出画面里的各个前景物体，合力把一张扁平的照片提炼成包含空间深度的 3D 点云场景。接下来，物体被表示为 3D 高斯（3D Gaussian）轨迹，而背景则依托初始帧的点云搭起几何脚手架。

最有意思的是工作流。团队做了一套 Blender 插件，创作者可以直接在熟悉的 Blender 界面里摆放摄像机、设定关键帧路线，甚至能同时拉动多个物体按不同方向前进。导出后，这些三维轨迹会被压制成每一帧的几何控制图（4D control maps）。

底座模型方面，他们挑了开源的 Wan2.1 视频扩散模型，但把它完全冻结住，一根权重都不动，以此保住它原本强大的画质和写实通用能力。所有的几何控制信号，全靠一个轻量级的 GeoAdapter，以零初始化残差调控的形式注入到扩散模块中。据其他报道称，对比 YuMe 和 Uni3D 等同类视角合成方案，这种结构生成的动作和视角连贯性明显更稳。

为了教会模型看懂这些轨迹，研究人员搭了一个名为 VerseControl4D 的大规模数据集。里面包含 3.5 万条训练片段和 1000 条验证测试片段，分别来自 Sekai-Real-HQ（占 26%）和 SpatialVID-HQ（占 74%），并且全都带完整的几何轨迹标注。其中两成还是专门的静态场景，用来单练纯运镜探索。

目前留下的几道缝隙

不过，VerseCrafter 并不是完全没有破绽，研究团队在技术细节里坦白了几个硬伤。

首先是物体的旋转与姿态。目前它对物体的控制停留在类似椭球体主轴的朝向，还做不到毫米级的精细姿态。如果是长条形的汽车或刚性物体，运动方向很准；但面对截面接近圆形的直立人体，模型很容易分不清正反面，偶尔会跑出「身子向前挪、脸却转到奇怪角度」的尴尬画面。

另一个问题在背景。因为背景点云完全来自第一帧，本质上是一个固定的几何骨架，没法模拟随时间变化的形变。像是瀑布飞溅的水花、被风吹乱的树叶这种主要靠纹理流动呈现的动态，经过 3D 到 2D 投影后约束力会变弱，生成的真实感不如相机和物体运动来得扎实。

为什么重要

视频生成模型跑了一年多，大家越来越清楚一个现实：光拼画质和写实度已经不够了，专业制作根本不吃「抽卡」这一套。VerseCrafter 聪明的点在于，它没有试图让模型自己去脑补导演的意图，而是直接在 Blender 这种成熟的工业级 3D 工具里搭了一座桥。

对影视预演、分镜师和独立创作者来说，这意味著你不再需要一遍遍改提示词赌运气。把资产摆进 Blender，镜头拉个推拉摇移，哪怕只是粗略的轨迹，AI 也能填充出高画质的动态画面。而且它还能做到同一套动态场景从两个不同玩家视角独立生成，画面依旧保持时空对齐，这对游戏过场和虚拟制作非常有用。

从技术路线上看，冻结 Wan2.1 主干、用轻量适配器挂接几何控制的做法，既省了昂贵的全参数重训，又没牺牲原本的生成画质，给后续开源社区扩展类似能力立了个很好的标杆。虽然目前它对人物细节朝向和流体背景还有限制，但这种把「精准空间控制」还给创作者的思路，显然比单纯等大模型猜心思靠谱得多。