阿里公佈 LHM 模型：單張照片幾秒生成可驅動 3D 數字人

過去想要把一個真人做成能跑能跳的 3D 數字替身，通常只有兩條路：要麼把人帶進佈滿攝像頭的專業掃描棚，要麼拿著一段影片讓電腦算上幾個小時，一點點最佳化幾何形變和貼圖。

阿里巴巴團隊近日提出了一套名為 LHM（Large Animatable Human Reconstruction Model）的全新模型。它的目標很直接：只給一張普通的全身單人照片，幾秒鐘之內就能生成一個能直接做動作的高保真 3D 人體化身。

把 3D 高斯塞進前饋網路

單張照片做可驅動 3D 人體，最大的難點在於怎麼把物體的幾何形狀、外觀貼圖和肢體骨骼運動解耦開來。以前那些依靠合成數據訓練出來的靜態模型，放到真實照片上往往效果很差，而基於影片最佳化的方案雖然精細，卻根本談不上速度。

LHM 的思路是放棄緩慢的迭代最佳化過程，改用純粹的前饋推理。它採用了業界熱門的 3D Gaussian Splatting（3D 高斯潑濺）技術來表示人體模型。

整個處理過程依靠一個被稱為多模態身體-頭部 Transformer（MBHT）的架構。系統從輸入的單張照片裡分別提取身體與頭部的影像標記，再用注意力機制將這些外觀特徵與 3D 幾何特徵強行對齊，最後直接解碼輸出成千上萬個 3D 高斯球的引數。

臉部和手部不需要二次返工

在很多現有的 3D 重建流程裡，臉部往往最容易變形，手部也很容易糊成一團，從業者通常必須額外掛載專門的面部模型進行二次修補。

LHM 設計了一套頭部特徵金字塔編碼方案，專門聚合多尺度的頭部與面部區域特徵。研究團隊在論文中表示，這讓模型不僅能牢牢保留原圖人物的長相特徵，而且手部和麵部在生成後完全不需要任何後處理。

不過這項技術目前也並非毫無破綻。從團隊展示的動效演示來看，由於使用了原始影像遮罩進行裁剪，生成影片的邊緣偶爾會出現白色的遮擋瑕疵，同時部分肢體動作在運動估計時還會伴隨輕微的抖動。

為什麼重要

我們認為，LHM 最核心的突破在於把可動 3D 人體建模的時間單位從「小時」徹底拉到了「秒級」。

對於遊戲開發者、虛擬主播和電商展示來說，單圖即時生成動畫替身的價值非常直觀。以往為了給玩家定製一個 3D 角色，成本高昂且耗時漫長，如果未來接入這項技術，使用者上傳一張自拍照，後臺幾秒內就能把可操作的角色丟進遊戲引擎裡。

對整個行業而言，生成式 3D 正在經歷從靜態物品向可動人體的遷移。LHM 證明了純前饋網路配合注意力機制，完全可以在沒有多視角輸入的情況下，單靠先驗知識腦補出合理的立體結構與動作骨架，這可能會逼著同類方案加速拋棄沉重的後處理管線。

看起來，阿里巴巴這一步走得很討巧，用 3D 高斯潑濺換取了驚人的渲染效率和幾何細節。但隱患也同樣擺在眼前：輕微的抖動與遮罩瑕疵說明單圖對複雜遮擋區域的推斷依然存在不確定性，想要真正進入高要求的影視和商業級流水線，它還需要在動作平滑度上再下一番功夫。