Character.AI 发布 AvatarFX:单张图配音频就能生成对白视频
Character.AI 公布视频生成模型 AvatarFX,用户上传单张静态图并搭配音频,就能让角色说话、唱歌并呈现手部与身体动作。模型基于 DiT 架构和蒸馏加速技术,支持真人及 2D/3D 卡通角色,未来几个月将率先面向 CAI+ 会员开放测试。
如果你的 AI 虚拟伴侣不仅能给你发文字消息,还能直接发来一段自己眨眼、做表情、开口唱歌甚至手舞足蹈的长视频,聊天陪伴的体验大概会完全变样。
Character.AI 公布了多模态团队研发的新视频生成模型 AvatarFX。它能直接把一张静态图片做成连贯的动态视频,人物不仅能准确对口型说话,还能带着丰富的表情和肢体动作唱歌与互动。
从动嘴皮子到长视频连环戏
以往很多所谓的 AI 数字人对口型,往往只是嘴巴在动,脖子和身子僵硬得像块木板,播到几秒钟之后画面就容易扭曲崩坏。
Character.AI 这次在 AvatarFX 上采用了 DiT 架构的流动扩散模型,设计了一套参数高效的训练管线。它不是简单地让音频驱动嘴唇贴图,而是结合自家的 TTS 语音模型,根据声音节奏协同生成头部转动、眼神细节以及手部和躯干的连贯姿态。
更关键的是控制力和时长。AvatarFX 支持直接导入既有图片生成,不需要用户反复抽卡拼提示词;它支持多角色同框和多轮轮流对话,还设计了新的长视频推理策略,用来避免长镜头下的动作走样。
为了兼顾不同用户的审美偏好,模型不仅吃得下真人写实风格,还能撑起 2D 动漫、3D 卡通、神话生物,甚至带五官的静物和家里的小宠物。
这种复杂生成往往极耗算力,Character.AI 提到他们用了模型蒸馏技术来减少扩散步数,在几乎不损失画质的前提下把推理速度拉快,降低服务成本。未来几个月这项技术会向所有用户开放,CAI+ 订阅会员将率先尝鲜。
预防 Deepfake 的一票否决制
生成视频逼真度越高,假视频和换脸滥用的风险就越大。Character.AI 这次在安全审查上拿出了相当严密的防线。
在素材输入环节,平台会直接拦截未成年人、知名政客以及其他公众人物的照片上传。如果用户传的是普通真人的生活照,系统还会先用 AI 对人脸做去辨识化变形,让视频里的人物不再能被认出是谁。
除了常规的对话敏感词过滤和强制视频防伪水印外,Character.AI 还针对测试功能推出了极其严苛的条款:明令禁止冒充、霸凌和侵权,并且执行一票否决的清退策略,只要违规一次就直接封禁。
为什么重要
从聊天框升级到视频流,看起来是 Character.AI 筑起差异化壁垒的关键一步。
对用户和创作者来说,这极大降低了虚拟角色内容创作的门槛。以往制作一段带情绪起伏、手势配合的多轮动画对话,需要建模、绑定动捕、对口型切音频等一整套专业工具,现在传一张同人立绘或自制立绘就能搞定剧情短片。
在行业层面,这也给赛道里的对手带来了压力。传统的陪伴类 AI 如果还停留在纯文字或静态语音阶段,在互动沉浸感上会被迅速甩开;而对于通用的视频生成大模型来说,Character.AI 走的是端到端绑定特定交互场景的实用路线,用户粘性天然更高。
我们认为这一步做得很讨巧。靠蒸馏压缩推理成本、用现有图片控制构图,都打在了低成本规模化落地的核心痛点上。但隐患同样明显:强行用 AI 改动真人面部虽然防住了换脸侵权,却可能破坏用户上传自己或原创角色的真实意图,如何在严格风控和创作自由之间取得平衡,上线后依然要面临考验。
来源 (2)
- @character_ai(在新标签页打开)原文x.com
- blog.character.ai(在新标签页打开)报道blog.character.ai
话题追踪Character.AI 多模态功能扩展
- Character.AI 升级创作功能:角色能开口唱歌,还能拉两人同台唠嗑
- Character.AI 发布 AvatarFX:单张图配音频就能生成对白视频本条