Synthesia 推出 Expressive Avatars:让 AI 数字人带上喜怒哀乐
AI 视频初创公司 Synthesia 推出新一代数字人化身「Expressive Avatars」。新版本不再采用传统拼贴视频片段的做法,而是通过大模型端到端实时生成,强化了唇形同步和微表情变化。虽然告别了僵硬的面瘫脸,但官方承认手部动作仍是下一步要啃的硬骨头。
Midjourney、Sora、Veo、Suno 等 AI 绘画、视频、配音和音乐生成工具的新模型、新功能和新玩法。
AI 视频初创公司 Synthesia 推出新一代数字人化身「Expressive Avatars」。新版本不再采用传统拼贴视频片段的做法,而是通过大模型端到端实时生成,强化了唇形同步和微表情变化。虽然告别了僵硬的面瘫脸,但官方承认手部动作仍是下一步要啃的硬骨头。
Drake 在社交平台发布新歌《Taylor Made Freestyle》,用 AI 合成的 Tupac 和 Snoop Dogg 声音向 Kendrick Lamar 喊话施压。外界推测是他自己录完再通过 AI 转换音色。最值得关注的是,AI 克隆人声已成为顶级说唱歌手公开交锋的实战武器。
TED 宣布与艺术家 Paul Trillo 及 OpenAI 合作,使用尚未正式发布的文生视频模型 Sora 制作了一支概念短片。短片畅想了 40 年后 TED 大会的模样,也是创作者提前探索 Sora 视觉表达潜力的最新案例展示。
Blockade Labs 发布 Skybox AI 的 Model 3 更新,支持生成并下载 8K 分辨率的 360 度全景环境,像素较上一代提升 77%,可直接适配 Apple Vision Pro。此外还上线了 Remix Your 360 功能,允许上传任意全景图进行二次重绘。
Stability AI 宣布在开发者平台上线 Stable Diffusion 3 和 Stable Diffusion 3 Turbo 的 API,并联合 Fireworks AI 提供服务。该模型采用 MMDiT 架构,官方称在排版拼写与提示词遵循上不输 DALL-E 3。后续还将向会员开放权重自托管下载。
Adobe 预告了 Premiere Pro 年内将推出的生成式 AI 功能,支持在画面中直接圈选增删物体、自动补帧延长过短的视频片段。最值得关注的是,Adobe 还演示了引入 OpenAI 的 Sora 和 Pika 等第三方模型生成画面的能力。不过这些 AI 工具预计今年晚些时候才会上线。
Freepik 上线最新版 AI 图像生成器,支持实时渲染与无限滚动。工具主打快速输出写实级画质,支持一键生成多变体。免费用户每天可生成 20 张,付费订阅者可享受无限制生成与完整风格库。
据报道 Adobe 开始向创作者按每分钟约 3 美元收购日常动作与情绪等短视频素材,最高可达 7.25 美元。此举旨在为自研文生视频工具储备训练数据,应对 OpenAI Sora 带来的竞争压力,同时继续走合规采购路线。
由前 Google DeepMind 研究人员创立的 Udio 正式公开发布。用户只需输入风格描述或歌词,40 秒内就能生成包含人声与母带效果的音轨,还支持二次混音与片段延长。该项目获 a16z 领投,will.i.am 和 Instagram 联创等参投。
OpenAI 上线 ChatGPT 图像生成与编辑功能,面向所有用户开放。你不仅能用画笔圈出局部做定向微调,还能在手机端画草图转成精细画作。最值得关注的是改图不再需要重抽整张图,不过官方提示局部编辑可能偶尔超出选区范围。
Stable Audio 2.0 正式上线,支持通过文本提示词直接生成最长 3 分钟、44.1kHz 双声道的完整曲目。新模型改用扩散 Transformer 架构,不仅能生成带前奏和尾奏的完整结构,还支持上传音频并进行风格转换。目前可在官网免费体验。
OpenAI 公布了一批由视觉艺术家、导演等创作的 Sora 早期作品与反馈。团队表示,Sora 最强大的地方不在于复现真实,而在于快速具象化那些超现实与荒诞的想法。不过作品均经过创作者后期剪辑,模型目前仍在小范围测试中。
Semafor 测试发现,Adobe 的图像生成工具 Firefly 同样出现了生成黑人纳粹士兵等失真画面的问题。最值得关注的是,即便只使用合规商业图库训练,防偏见的安全指令依然在历史语境下过犹不及。Adobe 回应称 Firefly 并非用于纪实,将持续微调修复。
OpenAI 首席技术官 Mira Murati 透露,文生视频模型 Sora 将于今年晚些时候向公众开放,可能就在几个月后。此外,OpenAI 计划未来为 Sora 引入音频生成和视频编辑功能,并努力将其使用成本降至接近 DALL-E 的水平。
由 DeepMind 前员工创立的初创公司 Haiper 公开发布自研视频生成工具,并宣布完成 1380 万美元种子轮融资。用户目前可免费生成 2 至 4 秒短视频或让静态图动起来。团队计划未来开放核心模型 API 并考虑开源,直面 Sora 的竞争。
Lightricks 推出 AI 视频生成平台 LTX Studio。它能直接将创意转化为包含多镜头的完整长视频,并重点解决了多场景间角色外观与光影一致性的痛点,试图让创作者用 AI 独立搞定影视级成片。
Morph Studio 宣布与 Stability AI 达成合作,推出一体化 AI 视频生成平台。该方案支持将文本、图像或已有视频转化为连续镜头,并采用多分支并行工作流提升创作效率。目前官网已开放候补名单申请。
Adobe 公布生成式音频研究项目 Project Music GenAI Control。用户输入文字或参考旋律即可生成音乐,还能调整节奏、结构或延长做无限循环。最值得关注的是它支持深度精修,不过目前仍处研究阶段,连 UI 都还没做。
Ideogram 正式上线文生图模型 Ideogram 1.0。新版本提升了真实感与提示词遵循度,主打更精准的图片内文字渲染,并加入辅助撰写提示词的「Magic Prompt」功能。目前已在官网开放使用。
Pika 推出 Lip Sync 功能,接入 ElevenLabs 提供配音,让视频角色的嘴型能与台词同步。它支持文本转语音或上传音频,省去了繁琐的后期外挂工具。不过该功能目前仅限 Pika Pro 付费用户和受邀测试者使用。