跳到正文
IFAI

AIGC

Captions 推出 Mirage Studio:自研全模態模型,AI 演員能笑也能說唱

首次發布 傳播指數 37

Captions 旗下的 Mirage 推出 Mirage Studio。它搭載自研全模態基座模型,使用者只需上傳一段音訊,再補充場景描述或參考圖,就能讓 AI 演員按指令大笑、躲閃、唱歌或說唱,幾分鐘內生成充滿活力的影片,目前已向所有人開放。

Captions 推出 Mirage Studio:自研全模態模型,AI 演員能笑也能說唱
圖:x.com

給數字人對口型大家見得多了,但多數時候他們都像戴著面具在唸稿,缺少真人的微表情。

影片創作平臺 Captions 推出了名為 Mirage Studio 的新工具,試圖解決這個痛點。

讓數字人學會大笑和說唱

Mirage Studio 底層採用的是 Captions 自研的全模態基座模型。它的用法非常輕量:使用者只需要上傳一段音訊,配上一段場景描述或者一張參考圖,幾分鐘內就能生成影片。

按照官方的說法,裡面的 AI 演員不僅能正常開口,還能做出大笑、退縮等微表情,甚至可以跟著節奏唱歌或者說唱,動作全部由提示詞指揮。目前該工具已經在 mirage.app 對所有人開放。

為什麼重要

對於做內容營銷和短劇創作的團隊來說,這種工具能大幅省去真人出鏡和後期表演對齊的成本。只要有一段旁白或臺詞,幾分鐘就能搭出一個帶有情緒表現的鏡頭,很適合拿來批次生產資訊流廣告或概念短片。

但我們認為,AI 人物生成一直以來的隱患在於實測落差。官方演示裡的自然笑聲和節奏感,在面對複雜臺詞或長文本時往往容易崩壞,真正好不好用,還得看大家日常生成時的穩定性。

來源 (1)

  1. [1]
    @getcaptionsapp(在新分頁開啟)原文x.com

話題追蹤Captions Mirage 產品線開發

這個話題的歷次新聞,最新的在上面。

  1. Captions 推出 Mirage Studio:自研全模態模型,AI 演員能笑也能說唱本則
  2. Captions 推出 Mirage:專做「UGC 風格」虛擬人影片廣告

每日 AI 內容精選