Homie 开源：支持多人物多物体参考，还能精确定位文字生成视频

Homie 是一个开源的视频生成框架，专门解决多人物和多物体参考视频生成中的一致性难题。简单来说，只要你给它几张特定人物或物体的参考图，它就能生成包含多个人物、复杂道具且细节不走样的视频。

它能做什么

Homie 支持同时输入多个不同主体，既能处理真人写实照片，也可以驾驭 3D 动画角色。

面对设计复杂的物体，比如花纹繁复的和服或造型奇特的玩具，它依然能保持视频各帧之间的高度一致。

如果你需要批量制作网红营销内容，只需要输入一张创作者的照片，再加上想要推广的产品图片，模型就能直接批量生成大量 UGC 风格的互动视频。

它最亮眼的地方在于支持同一主体的多视角输入。面对复杂物体时，只要上传多个角度的参考图，模型就能在转动和运镜中保持外形稳定，大幅减少以往同类模型常见的形变错误。

此外，它还支持输入 OCR 位置图。你可以直接圈出并告诉模型文字或图标应该贴在物体的哪个具体位置，从而彻底解决视频生成中文字错位、乱码的问题。

它是怎么做到的

以人和物体为核心的个性化视频生成，过去一直很难平衡多主体交互与各自特征的保真度，遇到 Logo 等抽象概念更容易出错。

以往的做法要么强行把多模态大模型的特征挤进传统文本编码器的空间，限制了推理能力；要么干脆用多模态大模型替代文本编码器，带来极高的重对齐成本。

Homie 选择保留原有的文本编码器来保障文本可控性，同时引入多模态大模型专门提取参考图之间的关联知识。

它在自注意力机制中加入了全局多模态引导，让多模态大模型提取的语义特征与 VAE token 更好地对齐，并借助模态-参考嵌入来区分不同来源的特征。

在与 VACE、Phantom 等主流参考图生视频模型的对比中，Homie 的一致性和参考忠实度表现更好，生成的错误明显更少。

项目已经公开了代码和模型权重，开发者可以直接获取并进行本地部署和测试。

为什么重要

对于做电商营销、虚拟人内容和短视频制作的团队来说，Homie 提供了一条极具实用价值的落地路径。过去批量制作带货视频最大的痛点就是商品变形和文字溃散，而多角度参考与 OCR 定位正好切中了这两个商业化死穴。

从技术方案来看，Homie 没有盲目用多模态大模型全盘替换扩散模型的文本端，而是通过巧妙的特征引导让大模型专注做它擅长的关系理解，这种架构思路既聪明又实用。不过想要跑出最佳效果，前期往往需要提供多角度图或准备位置标注，对素材输入的规范度提出了一定要求。