Midjourney 披露规划:v6 下周补齐局部重绘,视频生成先于 3D
Midjourney 在 Office Hours 中公布进展,v6 最快下周补齐局部重绘、平移和缩放功能。最值得关注的是,风格一致性将先于角色一致性推出,同时团队正在研发视频生成且优先级高于 3D。创作者最急需的控图能力即将到位。
Midjourney 在 Office Hours 中公布进展,v6 最快下周补齐局部重绘、平移和缩放功能。最值得关注的是,风格一致性将先于角色一致性推出,同时团队正在研发视频生成且优先级高于 3D。创作者最急需的控图能力即将到位。
Adobe 为 Premiere Pro 带来新音频工作流。新版能用 AI 自动给音频分类打标签,并提供交互式淡入淡出滑块;去年 9 月测试的「人声增强」也将在 2 月向所有用户开放,能一键消除嘈杂背景噪音。
Midjourney CEO David Holz 在 Discord 上宣布,团队将于 1 月开始训练视频生成模型。刚发布的 Midjourney v6 也将在下周迎来更新,不仅改进文字渲染与提示词理解,还会逐步补回局部重绘等旧版特性。
Pika Labs 宣布文生视频平台 Pika 1.0 正式面向所有人开放。用户在网页端输入提示词即可生成 3D 动画或电影风短片,并能自定义运镜、调节帧率甚至局部修改画面物体。目前使用 Google 或 Discord 账号即可免费体验,不过生成质量仍偶有变形。
Leonardo AI 推出 Motion 动效功能,可将平台生成的静态图片直接转换成动态视频。用户能自由调节运动强度,每次生成消耗 25 个积分。免费用户每天 150 积分约可生成 6 个动态视频,为内容创作者提供了更低门槛的动效工具。
Google 推出多模态视频生成模型 VideoPoet,打破主流的扩散模型路线,改用大语言模型整合文生视频、图生视频及音效生成等任务。该模型主打连贯的大动作生成,能输出伪影更少的 10 秒视频片段。这也展现了 LLM 架构在视频生成赛道上的通用潜力。
Stability AI 推出会员体系 Stability AI Membership,规范其开源模型的商用权益。体系分三档:个人与研究仍免费,创作者和初创团队每月付 20 美元即可自托管商用,另有大企业定制档。官方希望借此在开放与持续研发资金间取得平衡。
AI 视频初创公司 HeyGen 宣布完成 560 万美元融资,估值达 7500 万美元,并推出即时数字人生成功能。以往定制写实数字人需要专业拍摄且耗时数天,现在用手机拍一段视频、5 分钟就能生成。公司年经常性收入已达 1800 万美元。
AI 视频生成平台 Pika 宣布完成 5500 万美元融资,并开启 Pika 1.0 的早期测试。新版本不仅能生成 3D 动画与电影质感视频,还支持直接在画面里给人物换衣服、添加新角色或拓展画幅。目前已面向小范围用户开放测试申请。
Runway 为视频生成模型 Gen-2 推出「Motion Brush」等功能。用户只需在画面上涂抹指定区域并设定运动方向与数值,就能精准控制局部动态。更新还加入了免提示词的风格预设,并支持更精细的相机运镜微调。
Google 宣布为 Google Meet 推出物理手势检测功能,AI 能识别用户在摄像头前真实举起的手,并自动触发会议内的举手图标通知主持人。手需要离开面部和身体并保持几秒触发,正在发言时会自动停用防止误触。功能默认关闭,支持大多数 Workspace 套餐。
Stability AI 发布首个生成式视频基础模型 Stable Video Diffusion,并以研究预览形式开源了代码与权重。该模型基于 Stable Diffusion 打造,包含两款图生视频模型,可生成 14 帧与 25 帧画面。官方强调目前仅供研究,暂不可商用。
Meta 公布两项基于 Emu 模型的 AI 研究成果:Emu Edit 和 Emu Video。Emu Edit 主打精确的文本指令图像修图,只动指令相关的像素;Emu Video 则用简化的扩散模型架构生成 4 秒短视频。这项研究目前仍处于研发阶段。
Microsoft 在 Ignite 2023 上推出 Azure AI Speech 文本转语音替身公开预览版,上传照片和脚本即可生成逼真的说话视频。配套的 Personal voice 仅凭一分钟音频样本就能复刻声音。为防滥用,定制替身和声音复刻需单独申请审核,且强制添加 AI 水印与书面授权。
AI 视频生成工具 Deforum 宣布推出官方 Discord 机器人。用户可以直接在聊天频道里借助 SDXL 生成 AI 视觉内容,官方表示几天内将分批开启测试。对嫌本地配置麻烦、被复杂参数劝退的创作者来说,门槛降低了不少。
好莱坞演员公会 SAG-AFTRA 批准与制片厂的初步协议,正式结束持续 118 天的罢工。协议针对 AI 威胁制定了知情同意和补偿条款以保护演员,并首次设立流媒体分红。目前协议细节仍需等待工会全国委员会审议与全体投票。
好莱坞演员工会与制片厂联盟的谈判再次停滞,核心分歧仍是 AI。制片厂提议永久拥有部分高收入演员的数字肖像权,甚至死后无需家属同意即可使用;工会坚决拒绝,要求每次调用都必须重新征得同意并按次付费。
Plai Labs 推出免费文生视频工具 PlaiDay。用户只需上传一张自拍并输入提示词,就能生成融入自己形象的 3 秒短视频。最值得关注的是它主打个人化叙事,不过目前单人特写效果较好,生成复杂面部仍容易出现扭曲变形。
AI 视频平台 Kaiber 推出 iOS 与 Android 移动端 App,把音乐视频创作搬到手机上。它支持文本、图片和视频生视频,并内置音乐与艺人风格预设。平台提供 100 积分免费试用,订阅每月 5 美元起。
Runway 宣布升级视频生成模型 Gen-2,涵盖文本生成视频与图像生成视频两大模式。官方表示新版本大幅改善了画质保真度与画面连贯性。也就是说,AI 视频生成中的画面模糊和闪烁变形得到了针对性改善。