OpenAI 员工透露 Sora v2 即将发布:最长生成 1 分钟,支持多模态输入
据 OpenAI 员工 Chad Nelson 在伦敦演讲中透露,视频生成模型 Sora v2 即将发布。新版本支持生成最长 1 分钟的视频,并提供文本生视频、图文生视频以及基于现有视频结合提示词二次生成的多种输入模式。
Midjourney、Sora、Veo、Suno 等 AI 绘画、视频、配音和音乐生成工具的新模型、新功能和新玩法。
据 OpenAI 员工 Chad Nelson 在伦敦演讲中透露,视频生成模型 Sora v2 即将发布。新版本支持生成最长 1 分钟的视频,并提供文本生视频、图文生视频以及基于现有视频结合提示词二次生成的多种输入模式。
ElevenLabs 将 GenFM 功能引入长音频编辑工具 Studio。用户只需导入 PDF、网页链接或文本,系统就能自动生成两个逼真 AI 主持人对谈的播客,支持 32 种语言,且允许自由修改台词和导出商用。ElevenReader 的 Android 端也同步上线了该功能。
AdCreative.ai 推出产品视频生成模型 Product VideoShoot。它基于广告大模型 AdLLM,能把静态产品图直接转成 16 秒 1080p 广告片,支持镜头缩放与运镜控制。最值得关注的是其融入了转化预测数据,目前向 Pro 和 Enterprise 用户开启 Beta 测试。
Google 宣布 Imagen 3 全面开放给 Vertex AI 客户,视频生成模型 Veo 也开启私测。Veo 支持图生视频与局部编辑,最长可输出 6 秒高画质片段。这意味着 Google 开始将前沿多模态能力塞进企业云服务,不过 Veo 目前仍需申请预览资格。
MiniMax 旗下 Hailuo AI 发布图生视频模型 I2V-01-Live。该模型专为 2D 插画和角色设计,重点优化了运动平滑度、稳定性和微表情,能让静态画作里的角色开口说话、动作更自然,并适配多种艺术风格。
李飞飞联合创办的 World Labs 公布首个系统,能将单张照片变成在浏览器里实时交互的 3D 场景。模型不仅符合物理规律,还能用键鼠调节景深并自由移动视角。虽然目前漫游范围有限,但为可控的「世界模型」迈出关键一步。
Adobe Research 推出多模态视频音效生成技术 MultiFoley。它能识别画面动作,把打字机声换成钢琴声、让猫叫变成狮吼,并将现有音效精准对齐视频时间点。这意味着视频拟音制作无需逐帧手动对轨,创意换声变得极其简单。
艺术家团体「Sora PR Puppets」将 OpenAI 视频模型 Sora 的测试接口挂上 Hugging Face,一度允许公众免费生成 1080p 视频。该团队指责 OpenAI 利用早期测试艺术家进行无偿劳动与公关造势。该入口上线约三小时后已被封禁。
Stability AI 为 Stable Diffusion 3.5 Large 发布了三款 ControlNet 模型,包括 Blur、Canny 和 Depth。它们分别支持超分辨率放大、边缘线稿控制与深度引导,经约 150 人测试偏好度位居同类首位。年营收 100 万美元以下可免费商用,支持通过 Comfy UI 调用。
Runway 发布全新图像生成基础模型 Frames,主打风格控制与视觉保真度。该模型擅长在锁定特定美学风格的同时稳定生成变体,便于创作者构建统一的视觉世界。目前 Frames 正逐步向 Gen-3 Alpha 和 Runway API 用户推送开放。
Runway 推出「Expand Video」功能。用户输入提示词即可在原视频周围生成新画面来调整比例,多次扩展还能拼出急速拉远等运镜效果。目前该功能正逐步向 Gen-3 Alpha Turbo 用户推送。
KREA AI 宣布上线 Flux 图像提示词功能。用户现在可以在调用 Flux 模型生图时引入参考图片作为生成条件,以此引导画面的构图与风格。该功能目前直接面向所有用户免费开放。
Suno 正式上线 v4 音乐生成模型。新版本提升了音频清晰度与曲式结构的动态表现,歌词创作也更自然。最实用的新功能是 Remaster,支持把以往生成的曲目一键升级到 v4 品质,还同步优化了配套的单曲封面生成设计。
Coca-Cola 推出首部由生成式 AI 制作的 2024 圣诞广告,引发不少老观众反弹。这支 15 秒短片翻新了 1995 年的经典卡车巡游,但圣诞老人几乎全程隐身,AI 质感也招来缺乏人情味的批评。这凸显出把经典温情 IP 换成 AI 生成时的受众抵触心理。
奥斯卡影帝 Casey Affleck 谈及试用 Meta 视频模型 Movie Gen 的体验。他表示该工具能让拿不到大厂预算的创作者构建天马行空的电影世界。该工具支持 1080p 视频生成与编辑,预计明年上线,但他同时提醒影视行业需建立对应保障规则。
Basejump 公布 Web3 社交游戏平台及 AI 底层架构 Action,并获得 Community Labs 战略投资。玩家无需编程技能即可靠 AI 打造虚拟形象、游戏资产甚至完整游戏,内容依托 AO 超级计算机与 Arweave 链上永久保存,预计 2025 年初上线。
视频编辑平台 InVideo 发布 InVideo v3.0,支持用文本提示词从头生成真人、动画等风格视频,并可通过提示词局部修改。该功能没有免费版,付费订阅每月 120 美元可生成 15 分钟视频,额外每分钟需 8 至 10 美元。
AI 初创公司 Odyssey 宣布获得 1800 万美元 A 轮融资。团队让人背着装有 6 个摄像头与双激光雷达的 25 磅设备实地徒步,采集真实 3D 深度数据,用来训练能精细控制光影与几何的生成式「世界模型」,打造影视级虚拟场景。
CreatorKit 联合 ElevenLabs 推出 Emotive AI Actors。通过声音克隆技术,AI 演员能根据台词自动匹配兴奋、好奇等不同情绪。CreatorKit 称带情绪的声音让视频广告转化率提升了 16%。
YouTube 面向小部分创作者测试基于 Dream Track 的 AI 音乐重混功能。创作者只需输入提示词,就能调整正版授权歌曲的情绪或曲风,生成一段 30 秒的 Shorts 配乐。重混音频会标注原曲并标明由 AI 生成,目前仅对小范围实验组开放。