騰訊推出 VerseCrafter：單圖生成影片，可在 Blender 裡拖運鏡和物體軌跡

用 AI 做影片的人大概都經歷過這種崩潰：提示詞寫了八百遍「鏡頭向右平移、小狗向前跑」，模型生成的畫面卻總是各走各的，運映象喝醉了酒，物體動起來不是憑空變形就是瞬移。

騰訊等研究人員帶來的 VerseCrafter 想把導播權真正交回人手裡。簡單來說，只要給它一張普通的靜止圖片，你就能在三維軟體 Blender 裡像拍真人電影一樣，手動畫好攝像機的滑軌，順便拎著畫面裡的車或人拉出一條移動路線，模型就會按你畫好的規矩生成連貫的動態影片。

把 2D 圖片搬進 3D 演播室

傳統的生影片模型大多是在畫素層面對抗機率，所謂的「鏡頭控制」往往只是碰運氣。VerseCrafter 的思路更偏向圖形學：先解構，再重組。

拿到單張參考圖後，系統先用 MoGe 估算深度，再用 SAM 2 摳出畫面裡的各個前景物體，合力把一張扁平的照片提煉成包含空間深度的 3D 點雲場景。接下來，物體被表示為 3D 高斯（3D Gaussian）軌跡，而背景則依託初始幀的點雲搭起幾何腳手架。

最有意思的是工作流。團隊做了一套 Blender 外掛，創作者可以直接在熟悉的 Blender 介面裡擺放攝像機、設定關鍵幀路線，甚至能同時拉動多個物體按不同方向前進。匯出後，這些三維軌跡會被壓制成每一幀的幾何控制圖（4D control maps）。

底座模型方面，他們挑了開源的 Wan2.1 影片擴散模型，但把它完全凍結住，一根權重都不動，以此保住它原本強大的畫質和寫實通用能力。所有的幾何控制訊號，全靠一個輕量級的 GeoAdapter，以零初始化殘差調控的形式注入到擴散模組中。據其他報道稱，對比 YuMe 和 Uni3D 等同類視角合成方案，這種結構生成的動作和視角連貫性明顯更穩。

為了教會模型看懂這些軌跡，研究人員搭了一個名為 VerseControl4D 的大規模資料集。裡面包含 3.5 萬條訓練片段和 1000 條驗證測試片段，分別來自 Sekai-Real-HQ（佔 26%）和 SpatialVID-HQ（佔 74%），並且全都帶完整的幾何軌跡標註。其中兩成還是專門的靜態場景，用來單練純運鏡探索。

目前留下的幾道縫隙

不過，VerseCrafter 並不是完全沒有破綻，研究團隊在技術細節裡坦白了幾個硬傷。

首先是物體的旋轉與姿態。目前它對物體的控制停留在類似橢球體主軸的朝向，還做不到毫米級的精細姿態。如果是長條形的汽車或剛性物體，運動方向很準；但面對截面接近圓形的直立人體，模型很容易分不清正反面，偶爾會跑出「身子向前挪、臉卻轉到奇怪角度」的尷尬畫面。

另一個問題在背景。因為背景點雲完全來自第一幀，本質上是一個固定的幾何骨架，沒法模擬隨時間變化的形變。像是瀑布飛濺的水花、被風吹亂的樹葉這種主要靠紋理流動呈現的動態，經過 3D 到 2D 投影后約束力會變弱，生成的真實感不如相機和物體運動來得紮實。

為什麼重要

影片生成模型跑了一年多，大家越來越清楚一個現實：光拼畫質和寫實度已經不夠了，專業製作根本不吃「抽卡」這一套。VerseCrafter 聰明的點在於，它沒有試圖讓模型自己去腦補導演的意圖，而是直接在 Blender 這種成熟的工業級 3D 工具裡搭了一座橋。

對影視預演、分鏡師和獨立創作者來說，這意味著你不再需要一遍遍改提示詞賭運氣。把資產擺進 Blender，鏡頭拉個推拉搖移，哪怕只是粗略的軌跡，AI 也能填充出高畫質的動態畫面。而且它還能做到同一套動態場景從兩個不同玩家視角獨立生成，畫面依舊保持時空對齊，這對遊戲過場和虛擬製作非常有用。

從技術路線上看，凍結 Wan2.1 主幹、用輕量介面卡掛接幾何控制的做法，既省了昂貴的全引數重訓，又沒犧牲原本的生成畫質，給後續開源社群擴充套件類似能力立了個很好的標杆。雖然目前它對人物細節朝向和流體背景還有限制，但這種把「精準空間控制」還給創作者的思路，顯然比單純等大模型猜心思靠譜得多。