阿里发布肖像视频框架 EMO:一张图一段音频,就能让人物自然开唱
阿里研究团队公布音频驱动肖像视频框架 EMO。输入一张单人照片和一段语音或歌声,就能生成神态丰富、口型同步且时长不限的动态视频。它能敏锐捕捉语调起伏与快节奏歌词,也能让油画与 3D 角色开口说话。
Midjourney、Sora、Veo、Suno 等 AI 绘画、视频、配音和音乐生成工具的新模型、新功能和新玩法。
阿里研究团队公布音频驱动肖像视频框架 EMO。输入一张单人照片和一段语音或歌声,就能生成神态丰富、口型同步且时长不限的动态视频。它能敏锐捕捉语调起伏与快节奏歌词,也能让油画与 3D 角色开口说话。
ElevenLabs 宣布与 Perplexity 达成合作,联手推出每日短音频播客《Discover Daily》。节目结合 Perplexity 的搜索内容引擎与 ElevenLabs 的 AI 语音,自动播报科技、创新与文化最新头条,已在各大播客平台上线。
Suno 宣布面向 Pro 和 Premier 付费用户开放 V3 Alpha 早期测试。新模型将单次生成时长上限提至 2 分钟,音质与表现力明显提升,新增专门的纯音乐支持,并支持从任意位置续写老歌。官方还向付费账户赠送了 300 积分。
Stability AI 宣布开启 Stable Diffusion 3 早期预览候补名单。新模型结合 Diffusion Transformer 架构与流匹配,参数量覆盖 800M 至 8B,重点改进了多主体提示、画质以及文字拼写能力。目前该模型尚未全面开放,公开开源前先面向测试者收集反馈。
Will Smith 在 Instagram 发布恶搞视频,亲自模仿去年爆火的 AI 吃意面画面。这则视频恰逢 OpenAI 发布 Sora 视频模型,也让「吃意面」被不少网友调侃为检验 AI 视频生成能力的最新「图灵测试」。
微软广告与网络服务 CEO Mikhail Parakhin 近日在社交平台透露,OpenAI 的视频生成模型 Sora 最终会整合进 Copilot。Sora 能够根据文本生成最长 60 秒的高清视频。不过微软目前仍在解决技术整合细节,具体上线时间仍未确定。
Stability AI 推出文生图模型 Stable Cascade 的研究预览版。该模型基于 Würstchen 架构,采用三阶段分层压缩,将微调训练成本降至同等规模 Stable Diffusion 的十六分之一。相关推理与训练代码已在 GitHub 开源,但当前仅限非商业研究使用。
Midjourney 开放网页端图片生成 Alpha 测试,累计生成超过 1000 张图片的用户均可参与。目前该测试主要聚焦于桌面端,移动端也在规划中;功能和设计短期内将快速变动,待产品成熟后会逐步扩大开放范围。
Stability AI 宣布推出视频生成模型 SVD 1.1,基于 SVD-XT 微调,可在 1024x576 分辨率下生成 4 秒 25 帧短片。新版本优化了运动连贯性,减少画面静止与人物崩坏。研究用途可在 Hugging Face 免费下载,商用则需付费订阅或通过 API 调用。
Google 在 AI Test Kitchen 正式推出音乐生成工具 MusicFX 与作词辅助工具 TextFX。MusicFX 基于 MusicLM 升级,可按文字提示生成最长 70 秒音乐或无缝循环,并内置 SynthID 水印。为防范版权风险,系统会过滤艺人名称并禁止生成人声。
制作方披露摇滚乐队 Guns N' Roses 新单曲《The General》音乐视频的制作细节。团队先用虚幻引擎搭建场景与动态,再交给 Stable Diffusion 逐帧重绘出诡异梦幻的画面。这种混合工作流把 AI 当作增强画风的画笔,而非替代人类画师。
Midjourney 宣布动漫特化模型 Niji-Journey V6 正式上线。新版本大幅提升了对复杂提示词的理解力,支持直接在画面中渲染文字,还新增了兼容其他画风的 Style Raw 模式;局部重绘和缩放等功能预计 2 月补齐。
Runway 为 Gen-2 推出 Multi Motion Brush 功能。创作者能用画笔圈出画面中不同区域,分别调节水平、垂直及远近的运动方向与速度。这意味着静止图像转视频时,不同物体的动作不再互相干扰,目前已向所有 Gen-2 用户开放。
Midjourney 在 Office Hours 中公布进展,v6 最快下周补齐局部重绘、平移和缩放功能。最值得关注的是,风格一致性将先于角色一致性推出,同时团队正在研发视频生成且优先级高于 3D。创作者最急需的控图能力即将到位。
Amazon 开始在美国向 Fire TV Omni QLED 电视及第二代 Fire TV Stick 4K Max 推送 AI Art 功能。该功能基于 Titan 图像生成模型,用户对着遥控器说出提示词即可一次生成 4 张不同艺术风格的壁纸,并能一键保存为电视背景。
Midjourney CEO David Holz 在 Discord 上宣布,团队将于 1 月开始训练视频生成模型。刚发布的 Midjourney v6 也将在下周迎来更新,不仅改进文字渲染与提示词理解,还会逐步补回局部重绘等旧版特性。
Pika Labs 宣布文生视频平台 Pika 1.0 正式面向所有人开放。用户在网页端输入提示词即可生成 3D 动画或电影风短片,并能自定义运镜、调节帧率甚至局部修改画面物体。目前使用 Google 或 Discord 账号即可免费体验,不过生成质量仍偶有变形。
Leonardo AI 推出 Motion 动效功能,可将平台生成的静态图片直接转换成动态视频。用户能自由调节运动强度,每次生成消耗 25 个积分。免费用户每天 150 积分约可生成 6 个动态视频,为内容创作者提供了更低门槛的动效工具。
Google 推出多模态视频生成模型 VideoPoet,打破主流的扩散模型路线,改用大语言模型整合文生视频、图生视频及音效生成等任务。该模型主打连贯的大动作生成,能输出伪影更少的 10 秒视频片段。这也展现了 LLM 架构在视频生成赛道上的通用潜力。
Midjourney v6 正式上线。目前新版本并非默认开启,用户需要在 /settings 中手动选择 v6,或在提示词末尾加上「--v6」调用。首批测试反馈显示当前生成速度较慢。