Twelve Labs 推出 Pegasus-1:直接看懂长视频并生成文本
Twelve Labs 推出视频语言基础模型 Pegasus-1,并上线视频转文本 API。它放弃常见的抽帧转图片路线,直接整合视觉、音频与语音信息,用于长视频的摘要、分段与报告生成。这意味着长视频理解不再受限于单帧切片。
Twelve Labs 推出视频语言基础模型 Pegasus-1,并上线视频转文本 API。它放弃常见的抽帧转图片路线,直接整合视觉、音频与语音信息,用于长视频的摘要、分段与报告生成。这意味着长视频理解不再受限于单帧切片。
D-ID 正式上线 iOS 与 Android 版移动应用。用户上传一张单人照片或挑选预设数字人,输入台词并选择 119 种语言和语气,就能生成最长 10 分钟的说话视频。移动端订阅起售价为每月 5.99 美元,提供 14 天免费试用。
Descript 推出名为 Underlord 的 AI 视频与播客剪辑助手。它能读懂脚本和视频素材,通过简单指令自动搞定多镜头排版、加字幕、消音和去口癖等繁琐流程。也就是说,剪辑视频像改文档和给同事提需求一样省事。平台提供免费版,每月含 1 小时媒体时长。
ElevenLabs 宣布与视频生成平台 Pictory AI 达成合作。Pictory 接入 ElevenLabs 的 AI 语音技术,重点支持英语和德语,让创作者把博客和文本脚本转成视频时,能直接配上高度拟真的自然人声。
美国两党参议员推出《No Fakes Act》讨论草案,获罢工中的 SAG-AFTRA 工会全力支持。草案拟在联邦层面禁止未经本人知情同意使用 AI 制作声音或肖像数字复刻。这直击演艺人员的核心痛点,防止制片厂用生成式 AI 廉价取代群演与创作者。
Adobe 在 MAX 展示了 11 项实验性生成式 AI 原型。包括单帧编辑自动同步全片的视频填充 Fast Fill、对象感知修图引擎 Stardust,以及动态显示图案的交互面料 Primrose 等。这些前沿技术主打跨模态创作提效,未来有望落地产品中。
TikTok 推出 Direct Post 功能,允许第三方应用直接将视频发布至平台,首批支持 Adobe Premiere Pro、Adobe Express 和剪映等。创作者在剪辑软件里就能设好标题和公开范围并一键发送,省去来回导出上传的麻烦。
美国编剧工会(WGA)正式结束近五个月的罢工。新达成的三年协议严格限制生成式 AI:AI 生成内容不能算作源素材,制片厂不得强迫编剧使用 ChatGPT 等工具,也不能用 AI 代替编写或重写剧本。这是好莱坞首次为生成式 AI 划出明确护栏。
YouTube 发布一系列创作者工具,其中实验功能 Dream Screen 允许用户输入文字提示词,直接为 Shorts 生成 AI 视频或图片背景。官方还推出了免费移动剪辑应用 YouTube Create,支持自动字幕与音乐卡点。Dream Screen 将在年内向部分创作者开放测试。
AI 技术公司 Metaphysic 推出 Metaphysic Pro 系统,帮演员管理面部、声音等数据授权。汤姆·汉克斯、安妮·海瑟薇等已成早期用户。在好莱坞对 AI 侵权重重担忧下,它试图为明星建立数字分身的数据控制权与付费渠道。
Adobe 发布 Premiere Pro 与 After Effects 测试版,带来多项 AI 与 3D 更新。Premiere Pro 加入 Enhance Speech 一键消除背景杂音,并在文本剪辑中支持批量删除语气词,时间线流畅度提升 5 倍;After Effects 升级了 AI 抠像画笔。所有功能目前可在 Beta 版体验,计划秋季正式推出。
Google 在 Google Ads 中推出 AI 创意指引功能。系统会自动检查视频前 5 秒是否有 Logo、时长是否匹配目标,以及是否覆盖横屏、竖屏和方形画幅。广告主还能直接在后台一键调用 15 种语言的 AI 配音工具生成旁白。
瑞典初创团队 Motorica 开启 MoGen 公测。这款工具基于扩散模型和 150 多种风格数据训练,能快速生成高质量 3D 角色动画,支持在 Maya、Blender 以及 Unreal Engine 5 等兼容 FBX 的主流软件中自由修改动作路径。
研究团队开源 ICCV 2023 论文项目 StableVideo 代码。该工具结合 Text2LIVE 与 ControlNet,通过扩散模型实现文本引导的视频编辑,重点解决跨帧闪烁问题,并优化显存以支持低显存设备运行。
Amazon 宣布为 Prime Video 的 NFL「周四夜赛」上线多项 AI 实时预测功能。自研神经网络能根据球员坐标与加速度,在场上实时圈出即将突袭的防守球员或跑出空位的接球手,还提供四档转换决策概率。功能将在 9 月 14 日新赛季 Prime Vision 信号中正式亮相。
ElevenLabs 宣布与科学视频平台 ScienceCast 及 arXiv 展开合作。ScienceCast 的自动化视频工具接入了 ElevenLabs 的 AI 语音合成能力,能把 arXiv 上的学术论文直接生成为 3 到 5 分钟的配音简报,帮科研人员从海量文献中快速抓重点。
Runway 在其网站和 iOS App 上线「Watch」功能,供用户分享与浏览使用 Runway 工具生成的长视频作品。面对好莱坞因担忧 AI 抢饭碗而爆发的罢工,其 CEO 表示 AI 不是要替代一切而是增强创作,上线该功能正是为了展示创作者的实际成果。
D-ID 与 ElevenLabs 宣布达成合作,将后者的优质 AI 语音接入 Creative Reality studio。Pro 订阅用户可以一键为数字人添加 9 款精选语音,搭配严肃、开心等 4 种表情,让口播视频的语气更自然、情绪更饱满。
YouTube 开始测试由 AI 生成的视频摘要,直接出现在搜索和播放页,帮观众快速判断视频值不值得看。目前仅面向部分移动端用户,覆盖英文的教程、购物和 Vlog。官方强调这不会取代创作者自己写的内容简介。
据外媒报道,Netflix 挂出机器学习平台产品经理岗位,年薪最高达 90 万美元。该职位旨在利用算法优化影视制作流程。在好莱坞演员工会与编剧工会因 AI 权益保障发起罢工的当下,好莱坞制片方仍在加速押注 AI 技术应用。