亚马逊研发多模态大模型 Olympus:能读懂视频,减少对 Anthropic 依赖
据 The Information 周三报道,Amazon 研发了代号为 Olympus 的多模态大模型,能处理文本、图像和视频,支持用文字搜索视频中的特定瞬间。尽管亚马逊刚向 Anthropic 追加了 40 亿美元投资,但自研模型显然是为了减少对 Claude 的依赖。该模型最早可能在下周的 AWS re:Invent 上公布。
据 The Information 周三报道,Amazon 研发了代号为 Olympus 的多模态大模型,能处理文本、图像和视频,支持用文字搜索视频中的特定瞬间。尽管亚马逊刚向 Anthropic 追加了 40 亿美元投资,但自研模型显然是为了减少对 Claude 的依赖。该模型最早可能在下周的 AWS re:Invent 上公布。
Adobe Research 推出多模态视频音效生成技术 MultiFoley。它能识别画面动作,把打字机声换成钢琴声、让猫叫变成狮吼,并将现有音效精准对齐视频时间点。这意味着视频拟音制作无需逐帧手动对轨,创意换声变得极其简单。
艺术家团体「Sora PR Puppets」将 OpenAI 视频模型 Sora 的测试接口挂上 Hugging Face,一度允许公众免费生成 1080p 视频。该团队指责 OpenAI 利用早期测试艺术家进行无偿劳动与公关造势。该入口上线约三小时后已被封禁。
IMAX 宣布与初创公司 Camb.ai 达成合作,计划使用其 Boli 和 Mars 等 AI 语音模型,为纪录片等原创内容做多语言本地化翻译和配音。Camb.ai 支持 140 种语言,IMAX 打算分阶段推进,先从常见语言开始落地,以此压缩译配成本并扩大受众覆盖。
Luma AI 宣布将视频生成工具 Dream Machine 拓展为完整创作平台。官方同步推出 Photon 图像生成基础模型,宣称处理速度比同类快最高 800%,并上线全新 UI、iOS 移动端以及面向开发者的 API。
Runway 推出「Expand Video」功能。用户输入提示词即可在原视频周围生成新画面来调整比例,多次扩展还能拼出急速拉远等运镜效果。目前该功能正逐步向 Gen-3 Alpha Turbo 用户推送。
Lightricks 宣布开源视频生成模型 LTX Video(LTXV)。该模型仅 20 亿参数,采用 DiT 架构,在 RTX 4090 等消费级显卡上也能近实时运行,4 秒即可生成 5 秒视频。它的开源让创作者在本地电脑就能快速试错,直接向闭源巨头叫板。
HeyGen 正式上线 iOS 移动应用,把数字人生成和视频翻译能力搬上了 iPhone。用户可以在手机上制作逼真数字人,并将视频快速翻译成 175 种以上的语言。说白了,创作者今后掏出手机就能随时随地做多语言视频。
ESPN 宣布正在测试名为 FACTS 的生成式 AI 虚拟形象。它接入官方分析数据库,结合英伟达 ACE 与 ElevenLabs 语音技术,为橄榄球节目补充数据分析。ESPN 强调其绝非为了取代真人解说,目前仍在开发中。
Coca-Cola 推出首部由生成式 AI 制作的 2024 圣诞广告,引发不少老观众反弹。这支 15 秒短片翻新了 1995 年的经典卡车巡游,但圣诞老人几乎全程隐身,AI 质感也招来缺乏人情味的批评。这凸显出把经典温情 IP 换成 AI 生成时的受众抵触心理。
Ben Affleck 与 Casey Affleck 兄弟表示 AI 将降低电影制作门槛。Ben Affleck 认为 AI 缺乏品味、充其量是模仿现有作品的工匠,但能削减繁重且昂贵的流程,让没拿到好莱坞大预算的创作者拍出好作品。
奥斯卡影帝 Casey Affleck 谈及试用 Meta 视频模型 Movie Gen 的体验。他表示该工具能让拿不到大厂预算的创作者构建天马行空的电影世界。该工具支持 1080p 视频生成与编辑,预计明年上线,但他同时提醒影视行业需建立对应保障规则。
TikTok 宣布在 AI 广告生成工具 Symphony Creative Studio 中接入 Getty Images 正版素材,并面向所有广告主开放。品牌只需输入产品描述,就能结合商业授权图库一键生成带真人数字人讲解、多语言配音的短视频广告。
视频编辑平台 InVideo 发布 InVideo v3.0,支持用文本提示词从头生成真人、动画等风格视频,并可通过提示词局部修改。该功能没有免费版,付费订阅每月 120 美元可生成 15 分钟视频,额外每分钟需 8 至 10 美元。
XRHealth 推出 AI 医疗 XR 平台。临床医生可通过其 AI 空间生成定制的 360 度环境与动态虚拟人,系统还整合了疗法搜索、报告分析与个性化治疗规划。这套方案覆盖物理康复与心理健康等领域,旨在用生成式体验提升治疗效果。
AI 初创公司 Odyssey 宣布获得 1800 万美元 A 轮融资。团队让人背着装有 6 个摄像头与双激光雷达的 25 磅设备实地徒步,采集真实 3D 深度数据,用来训练能精细控制光影与几何的生成式「世界模型」,打造影视级虚拟场景。
CreatorKit 联合 ElevenLabs 推出 Emotive AI Actors。通过声音克隆技术,AI 演员能根据台词自动匹配兴奋、好奇等不同情绪。CreatorKit 称带情绪的声音让视频广告转化率提升了 16%。
Apple 发布 Final Cut Pro 11,引入 AI 驱动的 Magnetic Mask 抠像与自动语音转字幕功能,无需绿幕即可精准分离背景。新版本还支持 Vision Pro 空间视频剪辑,老用户可免费更新。
CNET 分析了 Adobe 面向专业创作者的 AI 策略。Adobe 避开一键生成,转向用生成式编辑解决修图痛点,例如用 AI 抹电线、补视频帧。目前 Photoshop 生成式填充日均使用达 2300 万次,但画师对饭碗和版权的担忧仍在。
字节跳动推出 AI 系统 X-Portrait 2,仅凭单张照片就能重现经典电影里的复杂表情。它放弃了传统打点追踪,直接学习整张脸的肌肉流动,连惊恐与狂喜都能逼真呈现。出于深度伪造与滥用担忧,字节目前未对外公开代码。