跳到正文
IFAI

AIGC

ElevenLabs 推出數字人功能:輸入指令碼一鍵生成音畫同步影片

首次發布 傳播指數 40

ElevenLabs 在 ElevenCreative 中上線 Avatars 功能。使用者只需選定數字人、輸入指令碼並選擇聲音,即可在單一介面完成口型同步影片生成,還支援在多場景中保持角色一致性,目前面向所有付費方案開放。

以前想用 AI 做個口播影片,流程簡直像在工廠流水線上打卡。你得先在 ElevenLabs 把音訊調好匯出,再開啟另一個影片工具上傳,選個數字人模型,對口型、等渲染,一旦文案改了一個字,所有步驟就得重來一遍。

ElevenLabs 把這套繁瑣的鏈條直接掐斷了。他們在創作平臺 ElevenCreative 裡上線了新功能 Avatars,把自家招牌的語音模型和對唇演算法揉在了一個介面裡。從輸入文字、挑聲音到生成數字人對口型影片,一步搞定。

臉和嘴型,終於在一個鍋裡煮了

按以前的用法,即使在 ElevenCreative 內部,你也要在影像與影片模組裡翻出唇形同步過濾器,挑第三方服務商,再把音訊貼進去。說白了,以前的工具是拼湊起來的。

現在 Avatars 把語音生成直接嵌進了輸入框。因為 ElevenLabs 自己握著底層的語音模型,聲音和對唇動作是在同一個系統環境裡跑出來的。官方表示,這樣省去了平臺間倒騰檔案的麻煩,聲音和嘴型的貼合度也比外部匯入音訊更高。

更有意思的是數字人形象的複用機制。你可以傳一張真人照片、一張角色插畫甚至寵物的圖,也可以純靠一段文字描述讓系統捏一個形象。這個形象會存進你的資產庫,生成屬於它專屬的基礎身份。

做影片最怕數字人「下一秒就換了張臉」。ElevenLabs 的做法是把基礎圖片當作角色參考表,同一個角色可以換機位、換衣服、換背景,但在不同鏡頭裡長相保持一致。甚至每個角色還能綁上預設的聲音配置,想換也能隨時換。

把口播流水線塞進自動化節點

做單條影片是一回事,批次生產是另一回事。

這次更新還有一個殺手鐧:Flows 工作流裡新增了 Avatar 節點。這意味著你可以搭一個自動化管道,只要塞進去一份產品簡介,系統自動生成多版文案、配上不同語種的語音,然後批次渲染出口播影片。

對於做資訊流買量廣告的團隊,這相當於一個人就能批次跑幾十版廣告素材去測點選率;對於做線上課程或出海軟體的公司,一套指令碼可以直接換算成不同語言的講師講解影片。

目前這個功能已經向 ElevenLabs 的所有付費訂閱使用者開放,官方庫裡也自帶了一批做好的頭像模板可以直接套用。

為什麼重要

做 AI 口播影片的賽道其實早就擠滿了玩家,但 ElevenLabs 這一步切得特別準。

以往做數字人的工具,聲音往往是短板,聽起來機械味濃重;而聲音做得最好的 ElevenLabs 卻只做配音。現在它自己下場把臉和嘴型接上,對類似 HeyGen 這類主打數字人口播的獨立工具來說,壓力會非常大。畢竟工作流越短,使用者留在單一平臺的意願就越強。

對普通創作者和出海營銷團隊來說,Avatars 最大的價值是降低了批次試錯的成本。你不需要自己買綠幕、架燈光,也不用每天守在麥克風前錄幾十遍口播。幾張圖配上指令碼,就能讓一個虛擬代言人在多條影片裡持續出鏡。

但它看起來也有需要注意的地方。目前這一版主要依賴首幀圖和對唇驅動,整體依然屬於典型的「大頭照口播」範疇,如果涉及大範圍的肢體動作、複雜的道具互動,單靠這種對唇生成大機率還是會穿幫。我們認為,它更適合用來做快節奏的口播廣告、知識卡片和簡單的本地化解說,真要用來做長篇影視或高互動的劇情內容,現在的表現可能還不夠看。

來源 (1)

  1. [1]
    elevenlabs.io(在新分頁開啟)原文elevenlabs.io

每日 AI 內容精選