Meta 开源视觉模型 DINOv2:无需微调,通吃分类与深度估计
Meta AI 开源自监督计算机视觉模型 DINOv2。它完全摆脱了对文本描述和人工标签的依赖,提取的特征直接接入简单线性分类器就能用,在深度估计和图像检索等任务上表现出色,适合作为通用视觉骨干网络。
Meta AI 开源自监督计算机视觉模型 DINOv2。它完全摆脱了对文本描述和人工标签的依赖,提取的特征直接接入简单线性分类器就能用,在深度估计和图像检索等任务上表现出色,适合作为通用视觉骨干网络。
Stability AI 推出文生图模型 Stable Diffusion XL(SDXL)。该模型拥有 35 亿参数,主打高分辨率和逼真细节生成。这意味着创作者和开发者有了更高上限的开源图像生成底模,不仅风格更多元,画质也更接近专业级。
TechCrunch 报道 OpenAI 发表「一致性模型」(Consistency Models)论文,尝试用一到两步计算完成图像生成。传统扩散模型需要数十至上千步去噪,而新模型能在单步内搞定生成、上色或超分,速度快一个数量级。虽然初期画质较粗糙,但为手机端侧运行和实时生图打开了新方向。
据 Semafor 报道,开源图像模型 Stable Diffusion 背后的初创公司 Stability AI 烧钱速度惊人且缺乏盈利路径,陷入严重财务困境。公司去年融到的 1 亿美元已所剩无几,原本冲刺 40 亿美元估值的新一轮融资也已动摇。在 Midjourney 等对手的挤压下,开源明星公司的商业化显得格外艰难。
Midjourney 宣布暂停免费试用。CEO David Holz 透露,大量用户注册临时账号刷图,恰逢 GPU 短缺,甚至影响了付费用户体验;这并非因为近期川普等深度伪造图疯传。团队正在重新设计验证机制以防滥用。
Apple 研究团队公布生成框架 FaceLit。它无需人工标注或复杂采集设备,直接从普通 2D 图像学习生成 3D 人脸,并结合反射模型实现自由调节光照与视角,在 FFHQ 数据集上创下 3.5 的 FID 成绩。
Canva 在 Canva Create 上推出一系列 AI 功能。基于 OpenAI 技术的 Magic Design 能根据单张图片或简单描述自动生成成套模版与演示文稿初稿,同时上线了支持局部擦除替换的 Magic Edit,文生图分辨率也提升了 16 倍。
Microsoft 宣布将图像生成功能 Bing Image Creator 引入新版 Bing 预览版与 Edge 浏览器。它基于 OpenAI 的 DALL∙E 模型,在聊天创意模式下输入文字描述即可生成图片。目前向预览用户开放英文版,Edge 侧边栏及独立网页均已同步上线。
Adobe 推出面向创意的生成式 AI 模型集 Adobe Firefly,首批支持图像生成和文字特效。模型全部使用 Adobe Stock 授权内容与公有领域资源训练,主打商业安全,目前已开启测试并计划深度整合至 Creative Cloud 等工作流。
Stability AI 宣布推出 Stable Diffusion Reimagine。这是 Clipdrop 上的新工具,用户不需要写复杂提示词,上传一张图片即可生成无限张细节和构图不同的变体。它用图像编码器取代了文本编码器,不会复用原图的任何像素,模型后续还将开源。
美国版权局在《联邦公报》发布新指南,明确仅靠文本提示词生成的 AI 图像不受版权保护。官方认为,输入提示词就像客户给画师提需求,最终创作是由机器完成的。不过,若作品包含人类的实质编排或文本设计,仍保留按个案获得保护的可能。
Midjourney 宣布推出同名纸质月刊,订阅费每月 4 美元。杂志每期从社区评分最高的作品中精选图片,附带对应的提示词以及创作者访谈。尽管数字图像在网上随处可见,团队仍希望用这本实体刊物纪念社区的想象力。
The Sandbox 宣布与 Scenario 合作,探索用生成式 AI 辅助元宇宙创作。团队正引入 AI 制作动作并加速原型设计,将耗时从数周压到几分钟。最关键的是,生成的资产仍将通过区块链确权给创作者。
微软将多模态视觉模型 Florence 引入 Azure 认知服务开放预览,Reddit 将利用该 API 为图片自动生成无障碍替代文本。Florence 基于数十亿图文对训练,单图最多可打上万个标签,还支持视频摘要与抠图;目前仅面向 Azure 现有客户开放预览。
Stability AI 宣布收购热门图像工具 Clipdrop 的开发商 Init ML,完成其首笔并购。Init ML 拥有超 1500 万用户,收购后将作为全资独立子公司运营且全员留任。Stability AI 计划把最新的开源生成式模型无缝接入 Clipdrop 工作流。
据彭博社 3 月报道,Stable Diffusion 母公司 Stability AI 正与投资者接洽,计划以约 40 亿美元估值进行新一轮融资。该公司去年 10 月刚以 10 亿美元估值完成 1.01 亿美元融资,目前融资金额未定,最终估值仍可能有变。
高通展示在智能手机上本地运行 Stable Diffusion 1.5,搭载骁龙 8 Gen 2 芯片,在 15 秒内生成一张 512×512 像素图像,创下手机本地运行速度纪录。相比依赖云端,本地运行无需联网且更有利于隐私,不过该优化目前仅为技术演示,尚未公开发布。
美国版权局重新审查后判定,漫画《黎明的扎利亚》中由 Midjourney 生成的配图不具备「人类作者身份」,取消其图像版权保护。不过,作者编写的文字以及整体画面的编排、选择仍受保护。官方认为用户无法完全预测 AI 输出结果,提示词和轻微后期不足以构成版权法所要求的创造性。
可口可乐宣布与 OpenAI 及贝恩咨询达成合作,将 ChatGPT 和 DALL-E 引入营销体系,用来制作定制广告文案与图像。可口可乐是首家加入贝恩与 OpenAI 联盟的消费品巨头,意在用生成式 AI 提升本地化营销与运营效率。
Roblox 宣布正在测试两项生成式 AI 工具,允许创作者通过输入文字直接生成 3D 材质和可用代码。这项功能旨在抹平编程与建模的技术门槛,让新手也能轻松搭建虚拟世界。两项功能预计在未来几周内向 Roblox Studio 开发者推出。