位元組釋出 OmniShow：圖音姿態全模態控制，專攻人-物互動帶貨影片

做電商帶貨或者產品營銷，最讓人頭疼的就是製作成本。請真人主播出鏡不僅費時費錢，要是交給通用 AI 影片工具，虛擬人一伸手拿商品，包裝上的文字全糊了，瓶子還會當場變形融化。

字節跳動聯合香港中文大學等團隊，釋出了一款專攻人-物互動的端到端影片生成模型 OmniShow。這款模型從立項起，就直奔電商廣告和營銷帶貨這一極為實用的場景而去。

把商品、肖像和動作一口氣餵給模型

傳統的影片生成模型大多隻能接受文本或單一影像驅動，很難同時顧及人物長相、商品細節、肢體動作和說話口型。OmniShow 最大的不同，就在於它是目前少數能同時通吃影像、音訊、姿勢和文本的全模態框架。

在生成模式上，它覆蓋了從影像生影片到圖文音姿混合驅動（RAP2V）等多種組合。使用者可以同時上傳一張人物參考圖和一張商品白底圖，再配上一段錄音和一段人體姿勢骨架影片，模型就會把它們自然揉成一段影片。

在官方展示的示例中，無論是蛋白粉包裝、化妝品還是捲髮棒，模型生成的虛擬角色都能穩定地手持展示，且商品外觀與參考圖保持高度一致，沒有出現同類競品常見的形變失真。更讓人驚喜的是，它能原生生成長達 10 秒的連續長鏡頭，人物的表情、手指關節的抓握動作，以及與語音嚴絲合縫的口型同步，都達到了接近商用的水準。

為了讓多模態輸入不打架，研究團隊在論文中引入了統一通道注入（Unified Channel-wise Conditioning）來高效結合影像與姿態，並通過門控區域性上下文注意力（Gated Local-Context Attention）來保證音畫精準同步。面對多條件訓練資料稀缺的問題，他們設計了先解耦再聯合的訓練策略，並順帶搭建了專門的人-物互動評測基準 HOIVG-Bench。

目前研究團隊已經在 GitHub 上建立了專案倉庫，不過頁面顯示核心程式碼正在接受內部稽核，後續有開源計劃。

為什麼重要

對中小電商商家和自媒體創作者來說，這套工具如果順利落地，將大幅降低帶貨影片的製作門檻。以往找達人拍一條口播廣告需要幾天週期，未來可能只需要一張商品圖、一段授權肖像和錄好的臺詞音訊，幾分鐘就能批次渲染出多條高質量營銷影片。

從行業競爭來看，字節跳動的思路非常務實。當同行還在文生影片的通用大模型上卷大場景和物理模擬時，位元組直接把發力點切進了自己最擅長的流量變現核心區：短影片帶貨。把人-物互動和商品一致性做紮實，遠比生成一段華麗但無法落地的風光大片更有商業殺傷力。

我們認為 OmniShow 的聰明之處在於沒有盲目堆引數，而是把重點放在了高難度的多條件精確控制上。不過，10 秒的鏡頭長度對於完整的帶貨敘事仍然偏短，後續如何拼接成更長、更有劇情的廣告仍是考驗。此外，一旦這類高度模擬的虛擬帶貨影片規模化氾濫，平臺如何監管虛假宣傳與肖像濫用，也會帶來不小的治理挑戰。