Hedra 推出 Character-3 與 Studio:圖文音全模態生成影片
Hedra 釋出 Character-3 模型與 Hedra Studio 平臺。該模型能同時處理影像、文本和音訊,一步完成口型同步與面部表情動作生成。創作者不再需要分步拼湊多個工具,製作長影片門檻大幅降低。
以前用 AI 做個會說話的虛擬人影片,流程往往非常折騰。你得先用一個模型畫出人物圖,找另一個工具生成配音,再扔進第三個軟體裡做口型對齊,最後合出來的效果經常臉是僵的、嘴形也是歪的。
做影片生成工具的 Hedra 想把這套麻煩事徹底端平。3 月 6 日,Hedra 正式釋出了自研模型 Character-3,以及配套的影片創作平臺 Hedra Studio。和以往那些把各個環節拆開跑的模型不同,Hedra 把 Character-3 叫做「全模態」模型,直接把影像、文本和音訊放在同一個模型裡同時處理。
把影像、文本和聲音揉進一個模型
傳統的做法之所以容易出破綻,是因為文本理解、音訊節奏和畫面生成是割裂的。Character-3 的思路是多模態同步輸入,模型在看到人物圖、讀到劇本文字的同時,就已經在聽背景音或人聲了。
這麼做的好處很直接。輸入文字描述後,人物不僅能準確對上聲音的口型,面部微表情、頭部動作和肢體晃動也會順著語氣的起伏自然帶出來。換句話說,它不再是拿著一張死板的人臉去機械地貼口型,而是在理解了語氣和語境之後,把表情和說話動作一起算出來。
為了讓普通人和團隊真能用起來,他們同時推出了 Hedra Studio。在這個工作臺裡,使用者可以用文字描述讓系統生成動態背景,也能把文字或音訊直接轉成角色動畫。平臺支援即時預覽,還把市面上其他主流 AI 模型整合到了工作流裡,另外也給開發者開放了 API 介面。
拿 1000 萬美元死磕長影片
Hedra 由執行長 Michael Lingelbach 和技術長 Alex Bergman 創辦,團隊之前拿了 1000 萬美元的種子輪融資。投資方包括 Index Ventures、Abstract、A16Z Speedrun,以及 Bilawal Sidhu、Jon Barron 等幾位業內天使投資人。
1000 萬美元在今天的 AI 影片賽道其實算個小數目。對比一下同行,Runway 融資拿了 2.37 億美元,Pica 拿到 8000 萬美元,Luma 拿了 7000 萬美元,專注於數字人播報的 HeyGen 也有 6000 萬美元,就連 Haiper 都有 1920 萬美元。
錢不算多,Hedra 選擇把力氣集中砸在一個點上:專門攻克長影片和端到端的角色連貫性,主打社交媒體、營銷展示和線上教育這類內容場景。
為什麼重要
對內容創作者和出海營銷團隊來說,Character-3 和 Hedra Studio 最實在的價值是省時間。過去做知識講解、營銷短片或者虛擬博主,得在好幾個工具之間來回倒騰素材,現在扔進一段音訊和劇本就能出片,而且由於有即時預覽,試錯成本降了一大截。如果只是想快速做口播類或劇情類影片,現在就很值得去體驗一下。
從行業競爭來看,我們認為 Hedra 走出了一條很聰明的夾縫路線。它沒有拿著有限的資金去跟 Runway、Luma 硬拼宏大的全場景文生影片大模型,而是盯準了 HeyGen 身後的說話角色生態。純文生影片雖然視覺震撼,但人物一開口往往破綻百出,且很難講長故事;Hedra 抓住長影片和角色表達這個痛點,正好打在當下商業化影片最剛需的地方。
不過挑戰也很現實。1000 萬美元的種子資金在極其燒卡的影片訓練領域支撐不了太久。把文本、影像、音訊三者合一全模態訓練固然能提升連貫性,但模型的算力開銷和延時也是成倍增加的。一旦頭部的通用影片大廠也把多模態聯合訓練補齊,Hedra 必須依靠 Studio 沉澱下來的工作流壁壘才能留住創作者。
來源 (2)
- @hedra_labs(在新分頁開啟)原文twitter.com
- learnprompting.org(在新分頁開啟)報導learnprompting.org