Character.AI 釋出 AvatarFX:單張圖配音訊就能生成對白影片
Character.AI 公佈影片生成模型 AvatarFX,使用者上傳單張靜態圖並搭配音訊,就能讓角色說話、唱歌並呈現手部與身體動作。模型基於 DiT 架構和蒸餾加速技術,支援真人及 2D/3D 卡通角色,未來幾個月將率先面向 CAI+ 會員開放測試。
如果你的 AI 虛擬伴侶不僅能給你發文字訊息,還能直接發來一段自己眨眼、做表情、開口唱歌甚至手舞足蹈的長影片,聊天陪伴的體驗大概會完全變樣。
Character.AI 公佈了多模態團隊研發的新影片生成模型 AvatarFX。它能直接把一張靜態圖片做成連貫的動態影片,人物不僅能準確對口型說話,還能帶著豐富的表情和肢體動作唱歌與互動。
從動嘴皮子到長影片連環戲
以往很多所謂的 AI 數字人對口型,往往只是嘴巴在動,脖子和身子僵硬得像塊木板,播到幾秒鐘之後畫面就容易扭曲崩壞。
Character.AI 這次在 AvatarFX 上採用了 DiT 架構的流動擴散模型,設計了一套引數高效的訓練管線。它不是簡單地讓音訊驅動嘴唇貼圖,而是結合自家的 TTS 語音模型,根據聲音節奏協同生成頭部轉動、眼神細節以及手部和軀幹的連貫姿態。
更關鍵的是控制力和時長。AvatarFX 支援直接匯入既有圖片生成,不需要使用者反覆抽卡拼提示詞;它支援多角色同框和多輪輪流對話,還設計了新的長影片推理策略,用來避免長鏡頭下的動作走樣。
為了兼顧不同使用者的審美偏好,模型不僅吃得下真人寫實風格,還能撐起 2D 動漫、3D 卡通、神話生物,甚至帶五官的靜物和家裡的小寵物。
這種複雜生成往往極耗算力,Character.AI 提到他們用了模型蒸餾技術來減少擴散步數,在幾乎不損失畫質的前提下把推理速度拉快,降低服務成本。未來幾個月這項技術會向所有使用者開放,CAI+ 訂閱會員將率先嚐鮮。
預防 Deepfake 的一票否決制
生成影片逼真度越高,假影片和換臉濫用的風險就越大。Character.AI 這次在安全審查上拿出了相當嚴密的防線。
在素材輸入環節,平臺會直接攔截未成年人、知名政客以及其他公眾人物的照片上傳。如果使用者傳的是普通真人的生活照,系統還會先用 AI 對人臉做去辨識化變形,讓影片裡的人物不再能被認出是誰。
除了常規的對話敏感詞過濾和強制影片防偽水印外,Character.AI 還針對測試功能推出了極其嚴苛的條款:明令禁止冒充、霸凌和侵權,並且執行一票否決的清退策略,只要違規一次就直接封禁。
為什麼重要
從聊天框升級到影片流,看起來是 Character.AI 築起差異化壁壘的關鍵一步。
對使用者和創作者來說,這極大降低了虛擬角色內容創作的門檻。以往製作一段帶情緒起伏、手勢配合的多輪動畫對話,需要建模、繫結動捕、對口型切音訊等一整套專業工具,現在傳一張同人立繪或自制立繪就能搞定劇情短片。
在行業層面,這也給賽道里的對手帶來了壓力。傳統的陪伴類 AI 如果還停留在純文字或靜態語音階段,在互動沉浸感上會被迅速甩開;而對於通用的影片生成大模型來說,Character.AI 走的是端到端繫結特定互動場景的實用路線,使用者粘性天然更高。
我們認為這一步做得很討巧。靠蒸餾壓縮推理成本、用現有圖片控制構圖,都打在了低成本規模化落地的核心痛點上。但隱患同樣明顯:強行用 AI 改動真人面部雖然防住了換臉侵權,卻可能破壞使用者上傳自己或原創角色的真實意圖,如何在嚴格風控和創作自由之間取得平衡,上線後依然要面臨考驗。
來源 (2)
- @character_ai(在新分頁開啟)原文x.com
- blog.character.ai(在新分頁開啟)報導blog.character.ai
話題追蹤Character.AI 多模態功能擴充套件
- Character.AI 升級創作功能:角色能開口唱歌,還能拉兩人同臺嘮嗑
- Character.AI 釋出 AvatarFX:單張圖配音訊就能生成對白影片本則