跳到正文
IFAI

AI科研

Animate Anyone 2 发布:不仅让静态人物动起来,还能和环境真实互动

首次发布 传播指数 31

研究团队推出角色动画模型 Animate Anyone 2,主打环境交互能力。新模型通过引入环境表征作为条件输入,并加入物体引导器和空间融合技术,让生成的角色不再像浮在背景上,而是能真正与周围物体自然交互,动作适应度大幅提升。

以前用 AI 让静态人物动起来,最尴尬的瞬间不是动作僵硬,而是人物看起来像一张悬浮在背景前的贴纸。哪怕舞跳得再好,角色踩在地上没有阴影,手里抓着东西直接穿模,一眼就能看出来假。

初代 Animate Anyone 靠着让静止照片跳舞火遍全网,现在原班团队带着 Animate Anyone 2 回来了。这一次,他们试图解决这个最让人出戏的问题:让角色真正走入环境,并和周围的物体产生交互。

告别贴纸感:给角色装上「环境感知」

论文把这套核心能力称为「环境可供性」(environment affordance)。简单来说,以前的扩散模型只顾着把动作骨架套在人物身上,背景只是背景,人和周围环境毫无关联。

在 Animate Anyone 2 中,系统不仅从参考视频里提取动作信号,还会把背景环境当作重要的条件输入。研究人员把画面中排除人物以外的区域单独提取出来,建立环境表征,再让模型把角色填回这些空白区域,确保生成的人物从一开始就和周围背景在光影、透视与空间结构上融为一体。

为了更好地处理人物与场景的交界,团队设计了一种形状不可知的掩码策略(shape-agnostic mask)。这种设计不再死板地框定人物轮廓,让角色在移动或改变姿态时,与背景的过渡更加自然。

拿起杯子不穿模:专治各种抓取交互

除了融入大环境,日常动作里最难的是与具体物体互动。比如人拿杯子喝水、搬箱子或者握工具,手指和物体的接触面很容易崩溃变形。

针对这种高难度场景,Animate Anyone 2 专门引入了一个「物体引导器」(object guider)。它的工作是精准提取被交互物体的特征,然后通过空间混合技术(spatial blending)把这些特征融入到扩散生成过程中。这样一来,人物在接触物体时,手部和物体的形态都能保持清晰稳定,大大减少了悬空或穿模的尴尬。

此外,团队还加入了一套姿态调制策略(pose modulation),专门用来应对更多样、幅度更大的复杂动作模式,避免动作剧烈时画面崩坏。

为什么重要

我们认为,Animate Anyone 2 标志着角色动画生成工具正在跨过「能动就行」的第一阶段,进入了比拼「物理真实感」的深水区。

对于创作者和独立游戏开发者来说,这直接决定了 AI 生成视频能否真正进入工作流。以往用单张图片生成动态角色,背景往往只能挑纯色或空旷平地,一旦涉及拿道具或者靠着桌子,画面立刻露馅。如果能稳定实现物体交互与空间融合,制作短视频分镜、游戏 NPC 动作乃至虚拟主播交互的门槛都会被大幅拉低。

从技术思路上看,团队做得很聪明的一点是没有单纯去堆参数,而是精准切中了「环境可供性」和「物体交互」这两个痛点。用专门的物体引导器配合空间混合,比起让主模型盲目猜测交互逻辑,显卡开销更可控,成片质量也更容易收敛。

不过看起来,交互的复杂度上限依然会受到参考视频和遮挡关系的考验。如果物体本身在运动中有大面积遮挡或形变,目前方案的表现如何还有待检验。但无论如何,能让 AI 人物从贴纸变成真正在环境里干活的角色,这已经是向前迈出的一大步。

来源 (1)

  1. [1]
    humanaigc.github.io(在新标签页打开)原文humanaigc.github.io

每日 AI 内容精选