跳到正文
IFAI

AIGC

Captions 推出 Mirage Studio:自研全模态模型,AI 演员能笑也能说唱

首次发布 传播指数 37

Captions 旗下的 Mirage 推出 Mirage Studio。它搭载自研全模态基座模型,用户只需上传一段音频,再补充场景描述或参考图,就能让 AI 演员按指令大笑、躲闪、唱歌或说唱,几分钟内生成充满活力的视频,目前已向所有人开放。

Captions 推出 Mirage Studio:自研全模态模型,AI 演员能笑也能说唱
图:x.com

给数字人对口型大家见得多了,但多数时候他们都像戴着面具在念稿,缺少真人的微表情。

视频创作平台 Captions 推出了名为 Mirage Studio 的新工具,试图解决这个痛点。

让数字人学会大笑和说唱

Mirage Studio 底层采用的是 Captions 自研的全模态基座模型。它的用法非常轻量:用户只需要上传一段音频,配上一段场景描述或者一张参考图,几分钟内就能生成视频。

按照官方的说法,里面的 AI 演员不仅能正常开口,还能做出大笑、退缩等微表情,甚至可以跟着节奏唱歌或者说唱,动作全部由提示词指挥。目前该工具已经在 mirage.app 对所有人开放。

为什么重要

对于做内容营销和短剧创作的团队来说,这种工具能大幅省去真人出镜和后期表演对齐的成本。只要有一段旁白或台词,几分钟就能搭出一个带有情绪表现的镜头,很适合拿来批量生产信息流广告或概念短片。

但我们认为,AI 人物生成一直以来的隐患在于实测落差。官方演示里的自然笑声和节奏感,在面对复杂台词或长文本时往往容易崩坏,真正好不好用,还得看大家日常生成时的稳定性。

来源 (1)

  1. [1]
    @getcaptionsapp(在新标签页打开)原文x.com

话题追踪Captions Mirage 产品线开发

这个话题的历次新闻,最新的在上面。

  1. Captions 推出 Mirage Studio:自研全模态模型,AI 演员能笑也能说唱本条
  2. Captions 推出 Mirage:专做「UGC 风格」虚拟人视频广告

每日 AI 内容精选