Homie 開源：支援多人物多物體參考，還能精確定位文字生成影片

Homie 是一個開源的影片生成框架，專門解決多人物和多物體參考影片生成中的一致性難題。簡單來說，只要你給它幾張特定人物或物體的參考圖，它就能生成包含多個人物、複雜道具且細節不走樣的影片。

它能做什麼

Homie 支援同時輸入多個不同主體，既能處理真人寫實照片，也可以駕馭 3D 動畫角色。

面對設計複雜的物體，比如花紋繁複的和服或造型奇特的玩具，它依然能保持影片各幀之間的高度一致。

如果你需要批次製作網紅營銷內容，只需要輸入一張創作者的照片，再加上想要推廣的產品圖片，模型就能直接批次生成大量 UGC 風格的互動影片。

它最亮眼的地方在於支援同一主體的多視角輸入。面對複雜物體時，只要上傳多個角度的參考圖，模型就能在轉動和運鏡中保持外形穩定，大幅減少以往同類模型常見的形變錯誤。

此外，它還支援輸入 OCR 位置圖。你可以直接圈出並告訴模型文字或圖示應該貼在物體的哪個具體位置，從而徹底解決影片生成中文字錯位、亂碼的問題。

它是怎麼做到的

以人和物體為核心的個性化影片生成，過去一直很難平衡多主體互動與各自特徵的保真度，遇到 Logo 等抽象概念更容易出錯。

以往的做法要麼強行把多模態大模型的特徵擠進傳統文本編碼器的空間，限制了推理能力；要麼乾脆用多模態大模型替代文本編碼器，帶來極高的重對齊成本。

Homie 選擇保留原有的文本編碼器來保障文本可控性，同時引入多模態大模型專門提取參考圖之間的關聯知識。

它在自注意力機制中加入了全域性多模態引導，讓多模態大模型提取的語義特徵與 VAE token 更好地對齊，並藉助模態-參考嵌入來區分不同來源的特徵。

在與 VACE、Phantom 等主流參考圖生影片模型的對比中，Homie 的一致性和參考忠實度表現更好，生成的錯誤明顯更少。

專案已經公開了程式碼和模型權重，開發者可以直接獲取並進行本地部署和測試。

為什麼重要

對於做電商營銷、虛擬人內容和短影片製作的團隊來說，Homie 提供了一條極具實用價值的落地路徑。過去批次製作帶貨影片最大的痛點就是商品變形和文字潰散，而多角度參考與 OCR 定位正好切中了這兩個商業化死穴。

從技術方案來看，Homie 沒有盲目用多模態大模型全盤替換擴散模型的文本端，而是通過巧妙的特徵引導讓大模型專注做它擅長的關係理解，這種架構思路既聰明又實用。不過想要跑出最佳效果，前期往往需要提供多角度圖或準備位置標註，對素材輸入的規範度提出了一定要求。