虛擬人系統 SARAH：具備 3D 空間感知，VR 裡能自然對視

戴上 VR 頭顯和虛擬人說話時，最出戲的往往不是畫質，而是對方僵硬的反應：明明你在房間裡走動，它卻像個定在原地的紙板人，眼睛不知道在看哪，手勢也只顧著機械對齊臺詞。

研究人員公佈了一套名為 SARAH 的即時全身虛擬人系統，專門解決這種缺乏空間感的問題。這套全稱為 Spatially Aware Real-time Agentic Humans 的方案，能讓虛擬角色在 3D 空間裡感知你的具體位置，即時轉過身面對你，並做出自然的眼神交流。

會看人、會走位，還能調節對視強度

以往很多動作生成模型只管根據聲音配手勢，角色根本不知道對面的人站在哪。SARAH 則同時接收使用者的 3D 頭部位置和雙方對話音訊，一邊生成配合語調的全身動作，一邊根據你的移動調整站姿與朝向。

更有意思的是它的眼神控制功能。研究團隊引入了凝視評分機制和無分類器引導，把空間學習和視線控制分離開來。這意味著使用者可以在推理時自由調整對視強度。

如果你把強度設為 0，角色就會呈現出日常聊天時很自然的眼神交替，時不時移開視線；如果調到 1，它就會始終盯著你看。使用者可以按照自己的習慣隨時切換，避免了傳統虛擬人不是目光呆滯就是死盯不放的尷尬。

超過 300 幀的即時串流

為了能在 VR 頭顯上流暢跑起來，研究人員在架構上做了精簡。他們把因果 Transformer VAE 與交錯潛在標記結合，配合流匹配模型進行流式推理。

在 Embody 3D 資料集的測試中，SARAH 的生成速度超過了 300 FPS，比那些非因果基線模型快了 3 倍。與三年前的動作擴散模型 MDM 相比，SARAH 生成的手勢動作明顯更自然，肢體穿模和抖動偽影也少得多。

因為延遲足夠低，整套系統已經成功部署在即時的 VR 串流測試中。使用者在頭顯裡看到的不只是一個念稿的皮套，而是一個能隨著你的腳步和語音即時給出肢體反饋的虛擬夥伴。

為什麼重要

我們認為，SARAH 最聰明的點在於它沒有盲目堆砌大模型引數，而是緊扣空間互動的核心痛點。在 VR 這種極度依賴沉浸感的場景裡，幾十毫秒的延遲或者一次對不準的眼神，都會直接打破臨場感。把動作推理推到 300 FPS 以上，才算真正拿到了進入消費級硬體的門票。

對開發者和內容創作者來說，這套方案為虛擬伴侶、VR 遠端會議和遊戲 NPC 提供了一個即插即用的動作底座。它證明了不需要昂貴的動捕機房，靠演算法即時推算也能做出足夠生動的肢體語言。

不過，目前的展示主要依賴特定的頭部追蹤和音訊輸入，在更復雜的多人混戰或劇烈肢體互動場景下，動作協調性還有待檢驗。但無論如何，當虛擬人學會了轉頭看你，虛擬現實裡的社交距離才算真正被拉近了。