阿里公布 LHM 模型:单张照片几秒生成可驱动 3D 数字人
阿里巴巴团队公布了数字人生成模型 LHM。只要输入一张单人照片,模型就能在几秒内以前向推断方式,直接生成基于 3D 高斯泼溅的高保真可驱动角色,且无需对手部和面部进行额外后处理,大幅降低了 3D 动画制作门槛。
Midjourney、Sora、Veo、Suno 等 AI 绘画、视频、配音和音乐生成工具的新模型、新功能和新玩法。
阿里巴巴团队公布了数字人生成模型 LHM。只要输入一张单人照片,模型就能在几秒内以前向推断方式,直接生成基于 3D 高斯泼溅的高保真可驱动角色,且无需对手部和面部进行额外后处理,大幅降低了 3D 动画制作门槛。
Pika Labs 预告了一项新视频操控功能。用户可以单独修改视频中的任意角色或物体,同时让其余画面保持完全不变。目前该能力尚未公开发布,仅面向申请加入其创意合作伙伴计划的用户开放独家早期体验。
Captions 推出专为 UGC 风格广告打造的模型 Mirage。它能根据脚本或音频生成带有肢体动作和微表情的虚拟代言人,并支持自定义服装、场景与情绪。这意味着无需真人出镜也能快速批量制作口播带货视频。
Freepik 宣布在其 AI Suite 中接入 Google 视频模型 Veo 2,推出图生视频功能。创作者生成或修图后,能直接调用 Veo 2 转成带动态运镜的高清视频。最值得关注的是图像生成到视频工作流被完全打通;不过该功能仅向 Premium 付费用户开放。
Hedra 发布 Character-3 模型与 Hedra Studio 平台。该模型能同时处理图像、文本和音频,一步完成口型同步与面部表情动作生成。创作者不再需要分步拼凑多个工具,制作长视频门槛大幅降低。
Amazon 旗下流媒体 Prime Video 宣布正在测试 AI 辅助配音,首批涵盖 12 部此前缺乏配音支持的影视内容。该功能支持英语与拉美西班牙语,由 AI 配音结合人类专业人员把控质量,旨在低成本为片库补齐多语种音轨。
德国电信宣布与 ElevenLabs 达成战略合作,将其 Gen FM 技术接入 Magenta AI 应用。用户能在几秒内把新闻文章转成高质量沉浸式播客,或按提示词定制音频内容。德国电信同时参投了 ElevenLabs 的 C 轮融资,未来计划将语音能力扩展至更多服务。
Stability AI 宣布与 Arm 合作,把音频生成模型 Stable Audio Open 搬上智能手机。借助 Arm KleidiAI 优化,无需联网即可在 CPU 上运行,生成 11 秒音频从 4 分钟缩至 8 秒内,提速达 30 倍。
OpenAI 宣布旗下 AI 视频生成工具 Sora 正式进入欧盟和英国市场。这意味着当地用户现在也可以直接体验 Sora 的视频生成功能,进一步扩大了该产品的可用地区范围。
Ideogram 发布最新图像模型 Ideogram 2a,主打更快速度与高拟真图文排版生成。最关键的是,2a 定价比上一代 2.0 便宜了 50%,并在主站和 API 同步开放。同时官方还推出了免登录即可查看提示词的公开 Feeds,进一步降低使用门槛。
Pika 推出 Pika 2.2,支持 10 秒视频生成与 1080p 分辨率。新版加入了关键帧过渡功能 Pikaframes,允许创作者在 1 至 10 秒内精确控制画面转换。目前新功能已上线官网开放体验。
Mystic 推出 Structure Reference 功能。该工具允许用户在生成图像时精准控制画面结构的完整度,支持从卡通到写实风格的转换,可用于电影、3D、游戏及建筑设计等多种场景。
Wonder Dynamics 推出 AI 模型 Motion Prediction,专门解决无标记动作捕捉中的遮挡难题。即使演员被障碍物遮挡或身体局部出画,模型也能自动补全连贯姿态并减少滑步,已集成至 Wonder Animation。
阿里通义实验室开源视频生成模型套件 Wan2.1,包含 14B 和 1.3B 两个版本,在关键基准上跑分超过 Sora,生成速度提升 2.5 倍。模型支持视频生音频与中英双语文字渲染,轻量版在单张 RTX 4090 显卡上 4 分钟即可生成 5 秒视频。
Luma AI 宣布为 Dream Machine 推出「视频转音频」功能。生成视频后点击新增的「Audio」按钮,就能一键自动配音,或通过提示词指定音频效果。该功能目前处于 Beta 测试阶段,面向所有用户免费开放。
Google 悄悄公开了视频生成模型 Veo 2 的定价页面。生成视频每秒收费 50 美分,折算下来一分钟 30 美元、一小时 1800 美元。相比 OpenAI 将 Sora 捆绑在每月 200 美元的 Pro 订阅中,Google 选择了直接按秒计费。
Freepik 宣布与 Google 合作上线视频生成模型 Veo 2。根据 Google 定价页面,Veo 2 生成视频每秒收费 50 美分,折合每分钟 30 美元。该模型支持生成 2 分钟以上片段,相比 OpenAI Sora 的月费订阅,按秒计费为创作者提供了新选择。
AI 视频平台 Pika 宣布正式在苹果 App Store 推出官方 iOS 应用。用户现在可以直接在手机端体验视频生成与特效功能,方便生成后直接在移动端发布和分享。
YouTube 宣布将 Google DeepMind 的 Veo 2 模型接入 Shorts 的 Dream Screen。创作者不仅能用文字生成背景,还能直接生成插入短视频的独立片段,对物理规律和人体动作理解更强,并附带 SynthID 水印。目前已向美、加、澳、新西兰开放。
Stable Diffusion 3.5 Large 及 Stable Image Ultra、Core 正式上线 Microsoft Azure AI Foundry 模型目录。SD3.5 Large 支持文生图和图生图,主打更强的提示词遵循能力,企业可直接在已有云架构中调用部署。