TARFlow 让归一化流重获新生:借力 Transformer,生成质量追平扩散模型
研究团队提出结合自回归 Transformer 的归一化流架构 TARFlow,让这一长期被扩散模型压制的范式重获新生。它采用单一可逆网络和最大似然目标,在保持完全可逆特性的同时,样本质量追平扩散模型,并能扩展至图像与视频生成。
研究团队提出结合自回归 Transformer 的归一化流架构 TARFlow,让这一长期被扩散模型压制的范式重获新生。它采用单一可逆网络和最大似然目标,在保持完全可逆特性的同时,样本质量追平扩散模型,并能扩展至图像与视频生成。
xAI 宣布在 X 平台为 Grok 推出自回归图像生成模型 Aurora。该模型基于海量互联网样本训练,大幅提升了逼真人像、复杂文字与标志的渲染能力,并原生支持图像输入和编辑。目前新功能已在部分地区先行上线,预计一周内向全量用户开放。
Dec 09, 2024,AMD 发布并开源单步扩散模型 Nitro Diffusion。新模型基于 Stable Diffusion 2.1 和 PixArt-Sigma 打造,只需一步推理就能生成媲美多步扩散的图像,可部署在数据中心和端侧 PC,相关代码与权重已上线 Hugging Face。
Google 推出视觉语言模型 PaliGemma 2。它基于 Gemma 2 打造,提供多种模型尺寸,具备视觉理解与交互能力。现有 PaliGemma 用户无需大改代码即可直接替换升级,大幅降低了针对特定任务微调视觉模型的门槛。
OpenAI 宣布招揽了 Google DeepMind 的三名资深计算机视觉专家 Lucas Beyer、Alexander Kolesnikov 与 Xiaohua Zhai。三人将在 OpenAI 新设立的瑞士苏黎世办公室开展工作,专注于多模态 AI 研发。这也意味着顶尖实验室对稀缺视觉人才的争夺进一步升级。
Google 宣布 Imagen 3 全面开放给 Vertex AI 客户,视频生成模型 Veo 也开启私测。Veo 支持图生视频与局部编辑,最长可输出 6 秒高画质片段。这意味着 Google 开始将前沿多模态能力塞进企业云服务,不过 Veo 目前仍需申请预览资格。
Amazon 发布新一代基础模型家族 Amazon Nova,涵盖 Micro、Lite、Pro 以及图像生成 Canvas 和视频生成 Reel。最值得关注的是,其在 Amazon Bedrock 上不仅响应速度最快,成本还比同级别顶尖模型直接砍掉至少 75%。
李飞飞联合创办的 World Labs 公布首个系统,能将单张照片变成在浏览器里实时交互的 3D 场景。模型不仅符合物理规律,还能用键鼠调节景深并自由移动视角。虽然目前漫游范围有限,但为可控的「世界模型」迈出关键一步。
Google Labs 推出实验性项目 GenChess。它接入 Imagen 3 模型,玩家输入提示词即可生成经典或创意风格的专属棋子,并直接与电脑开局对弈。不过该功能目前仅在部分地区可用。
Stability AI 为 Stable Diffusion 3.5 Large 发布了三款 ControlNet 模型,包括 Blur、Canny 和 Depth。它们分别支持超分辨率放大、边缘线稿控制与深度引导,经约 150 人测试偏好度位居同类首位。年营收 100 万美元以下可免费商用,支持通过 Comfy UI 调用。
MIT 研究团队公布名为 Earth Intelligence Engine 的新工具,将生成对抗网络与物理洪水模型结合,能提前预测并生成暴风雨过后的卫星图。这能解决纯 AI 经常在不可能积水的高地「瞎编」淹水画面的幻觉问题,帮助居民更直观地做撤离决策。
Luma AI 宣布将视频生成工具 Dream Machine 拓展为完整创作平台。官方同步推出 Photon 图像生成基础模型,宣称处理速度比同类快最高 800%,并上线全新 UI、iOS 移动端以及面向开发者的 API。
AMD 推出 Amuse 2.2 Beta,正式接入 Stable Diffusion 3.5 系列模型。新版面向 Ryzen AI 300 处理器与 Radeon 7000 显卡优化,结合 XDNA 超分技术,离线也能输出 2048x2048 像素图像,让轻薄本免配置即可在本地跑高质量生图。
Runway 发布全新图像生成基础模型 Frames,主打风格控制与视觉保真度。该模型擅长在锁定特定美学风格的同时稳定生成变体,便于创作者构建统一的视觉世界。目前 Frames 正逐步向 Gen-3 Alpha 和 Runway API 用户推送开放。
KREA AI 宣布上线 Flux 图像提示词功能。用户现在可以在调用 Flux 模型生图时引入参考图片作为生成条件,以此引导画面的构图与风格。该功能目前直接面向所有用户免费开放。
Meta 宣布为 Messenger 通话推出多项新功能。视频通话中支持由 Meta AI 生成个性化背景,同时上线高清画质、背景降噪和语音隔离。如果对方未接通,还能直接录制语音或视频留言,日常通话更省心。
Niantic 宣布正在利用《Pokémon Go》等游戏中玩家上传的数百万份现实扫描数据,构建“大型地理空间模型”(LGM)。该模型旨在赋予计算机和机器人行人视角的 3D 空间理解能力,覆盖许多汽车无法到达的物理角落。
Mistral AI 宣布全面升级免费助手 le Chat。新版加入了带引用的联网搜索、在线协作的 Canvas 画布,并接入多模态模型 Pixtral Large 解析复杂图文 PDF,同时引入 Flux Pro 图像生成和工作流 Agent。目前这些功能均在 Beta 阶段免费开放。
Google 宣布为 Google Docs 引入 Gemini 图像生成功能,底层采用最新的 Imagen 3 模型。用户通过文字提示词即可在文档中直接生成插图或无边距封面,还能挑选水彩、摄影等风格。该功能面向 Gemini 企业及 Google One AI 付费订阅用户开放。
Basejump 公布 Web3 社交游戏平台及 AI 底层架构 Action,并获得 Community Labs 战略投资。玩家无需编程技能即可靠 AI 打造虚拟形象、游戏资产甚至完整游戏,内容依托 AO 超级计算机与 Arweave 链上永久保存,预计 2025 年初上线。