Google 推出 VideoPoet:不用扩散模型,用 LLM 生成 10 秒大动作视频
Google 推出多模态视频生成模型 VideoPoet,打破主流的扩散模型路线,改用大语言模型整合文生视频、图生视频及音效生成等任务。该模型主打连贯的大动作生成,能输出伪影更少的 10 秒视频片段。这也展现了 LLM 架构在视频生成赛道上的通用潜力。
Google 推出多模态视频生成模型 VideoPoet,打破主流的扩散模型路线,改用大语言模型整合文生视频、图生视频及音效生成等任务。该模型主打连贯的大动作生成,能输出伪影更少的 10 秒视频片段。这也展现了 LLM 架构在视频生成赛道上的通用潜力。
Midjourney v6 正式上线。目前新版本并非默认开启,用户需要在 /settings 中手动选择 v6,或在提示词末尾加上「--v6」调用。首批测试反馈显示当前生成速度较慢。
Microsoft 宣布与 AI 音乐初创公司 Suno 合作,将其模型接入 Microsoft Copilot。用户只需在聊天中输入风格描述或歌词,无需任何乐理和乐器基础,就能生成包含人声与伴奏的原创歌曲,把做音乐的门槛降到了几句提示词。
周日晚,巴基斯坦前总理伊姆兰·汗的政党发布了一段 4 分钟的竞选视频,利用 ElevenLabs 的 AI 声音克隆技术复刻其声音,为身在狱中的他举行线上集会。音频基于其亲笔笔记,集会吸引超 50 万人观看,巴基斯坦当局随后封锁了主要社交平台。
Stability AI 推出 3D 模型 Stable Zero123,可从单张图片生成多视角并重构 3D 资产。相比前代 Zero123-XL,它优化了数据集与仰角条件,训练效率提升 40 倍。生成单视角显存与 SD1.5 相同,完整 3D 推荐 24GB 显存,权重已上线 Hugging Face。
Google 宣布推出实验性音乐生成工具 MusicFX,输入文字即可生成曲目。该工具由 MusicLM 模型驱动,并采用 DeepMind 的 SynthID 技术嵌入隐形水印。为避开版权争议,系统主动屏蔽了生成人声和指定特定艺术家的提示词。目前已在美、澳等国开放测试。
Snapchat 为每月 3.99 美元的 Snapchat Plus 订阅用户推出 AI 文生图功能,用户输入提示词就能生成图片直接发给好友。新版本还支持通过 AI 扩图补全照片背景,并允许与好友一同生成特定主题的 Dreams AI 自拍。
Meta 推出独立的网页端 AI 图像生成工具 Imagine with Meta。它基于底层 Emu 模型,美国用户可免费通过自然语言一次生成 4 张高分辨率图像。最值得关注的是,Meta 还承诺在未来几周加入抗裁剪、抗压缩的不可见 AI 水印,以提升透明度与溯源能力。
AI 艺术创作平台 Leonardo.Ai 宣布完成 3100 万美元融资。平台用户数已达 700 万,累计生成超 7 亿张图片。与常规生图工具不同,它强调对画面的精细控制,并推出了支持私有化部署和微调专属模型的企业版。
Leonardo AI 宣布实时绘画功能 Live Canvas 正式向所有免费和付费用户开放。用户在画布上涂鸦或调整时,画面能近乎实时渲染成精美图像。官方还预告,未来一到两周内还将推出更多扩展功能。
Ideogram 正式上线图像提示(垫图)功能。用户现在不仅能输入文本,还可以直接上传参考图片,配合文字提示词来控制画面输出。该功能目前面向所有 Plus 付费订阅用户开放。
Amazon 在 AWS re:Invent 大会上发布 Titan 图像生成模型。开发者可通过 Bedrock 接入,它支持文本生图和换背景,且生成的图片会自动打上无法通过裁剪去除的隐形水印。为了打消企业顾虑,Amazon 还承诺提供版权侵权赔偿。
AI 视频初创公司 HeyGen 宣布完成 560 万美元融资,估值达 7500 万美元,并推出即时数字人生成功能。以往定制写实数字人需要专业拍摄且耗时数天,现在用手机拍一段视频、5 分钟就能生成。公司年经常性收入已达 1800 万美元。
Stability AI 发布文生图模型 SDXL Turbo。它采用对抗扩散蒸馏技术,将生成步数从 50 步压缩至单步,在 A100 上生成 512x512 图像仅需 207 毫秒,实现了实时出图。不过目前仅开放非商业研究授权。
AI 视频生成平台 Pika 宣布完成 5500 万美元融资,并开启 Pika 1.0 的早期测试。新版本不仅能生成 3D 动画与电影质感视频,还支持直接在画面里给人物换衣服、添加新角色或拓展画幅。目前已面向小范围用户开放测试申请。
Runway 为视频生成模型 Gen-2 推出「Motion Brush」等功能。用户只需在画面上涂抹指定区域并设定运动方向与数值,就能精准控制局部动态。更新还加入了免提示词的风格预设,并支持更精细的相机运镜微调。
Stability AI 发布首个生成式视频基础模型 Stable Video Diffusion,并以研究预览形式开源了代码与权重。该模型基于 Stable Diffusion 打造,包含两款图生视频模型,可生成 14 帧与 25 帧画面。官方强调目前仅供研究,暂不可商用。
据报道,因社交网络风靡用宠物制作「迪士尼皮克斯」风格 AI 电影海报,微软调整了必应图像生成工具。平台此前直接拦截「Disney」提示词,随后改为将生成的迪士尼文字与 Logo 打乱变形,以规避潜在的商标侵权风险。
Google DeepMind 联手 YouTube 发布音乐模型 Lyria。同步测试的 Dream Track 允许创作者输入主题,即可生成带有 Charlie Puth 等 9 位歌手人声与风格的 30 秒配乐。所有音频均内置 SynthID 防伪水印,目前仅限少数创作者内测。