解读 NVIDIA GauGAN2:画笔涂鸦加文字,拼出逼真自然风景
NVIDIA 研究部门打造的 GauGAN2 支持将草图涂鸦与文字提示结合,生成逼真自然风景。它在 1000 万张风景图上训练,允许用分割图、画笔和橡皮擦精细调整山川河流。虽然操作界面略像复古画图工具,但很适合快速出分镜和概念草图。
NVIDIA 研究部门打造的 GauGAN2 支持将草图涂鸦与文字提示结合,生成逼真自然风景。它在 1000 万张风景图上训练,允许用分割图、画笔和橡皮擦精细调整山川河流。虽然操作界面略像复古画图工具,但很适合快速出分镜和概念草图。
《Sarah's Scribbles》作者 Sarah Andersen 发文讲述自身遭遇。继作品曾遭恶意篡改后,10 月她发现别人仅用其名字当提示词,AI 几秒内就能仿造出她的画风。她直言这抹去了艺术中凝结的人性,带来强烈的被侵犯感。
初创公司 Poly 推出面向设计师的生成式 AI 工具。用户输入提示词或参考图,即可生成带法线贴图的 3D 纹理素材。团队已在 9 月获得 Y Combinator 等机构的 390 万美元投资,平台累计生成超过 200 万张纹理。
Medium 刊文探讨 AI 生成艺术的现状与挑战。文章指出,AI 无法复制人类的独特性,更适合作为拓宽创意思维与实验风格的辅助工具,而非替代艺术家的对手;面对效率冲击与缺乏情感深度的担忧,关键在于保持理性并探索人机协作的边界。
Picsart 宣布推出全新生成式 AI 功能 AI Avatar。用户在应用中上传多张自拍,就能生成动漫、超级英雄等多种艺术风格的个性化肖像,并能结合平台现有的抠图、画质增强工具继续进行二次编辑。
布莱根妇女医院与博阿齐奇大学团队在《Nature Biomedical Engineering》发表深度学习模型,能将手术中快速冷冻切片的图像转化为接近「金标准」的高质量图像。这项技术能帮病理医生在几分钟内更准确地鉴别胶质瘤和肺癌等亚型。不过入驻手术室前仍需临床验证。
VentureBeat 发文分析深度学习对元宇宙的核心推动作用。从眼球追踪、3D 重建到 Meta 的实时语音翻译,深度神经网络正在补齐虚拟世界的基础交互;更关键的是,生成式聊天机器人让虚拟品牌代表摆脱死板脚本,实现更自然的实时对话。
盘点了支撑当下图像生成 AI 的核心技术扩散模型的发展历程。扩散模型借鉴非平衡热力学,通过学习从噪声中恢复数据的逆过程,并在 OpenAI CLIP 的指引下实现精准生成。除了画画,该架构正快速扩展至音乐创作以及蛋白质和 DNA 序列设计等生物医疗领域。
众筹平台 Kickstarter 关停了 AI 成人内容项目 Unstable Diffusion 的筹款活动。该项目原计划筹资训练无审查图像模型,已从 867 人处筹得超 5.6 万美元,款项将全部退还。Kickstarter 表示正重新评估涉及版权与潜在伤害的 AI 项目规则。
OpenAI 推出 3D 生成系统 Point-E,仅靠单张 GPU 数分钟就能生成简单的 3D 物体。它先用文生图模型生成单视角图像,再用第二个扩散模型生成 3D 点云,速度比同类 AI 快一到两个数量级。
12 月,创作者「Stelfie」利用 Stable Diffusion 和 DreamBooth 制作了一组逼真的「时空穿越自拍」。他把同一个虚构角色放进古埃及、冰河世纪与达芬奇画室等场景,展现了用 AI 微调维持角色一致性并进行连贯视觉叙事的新玩法。
演示文稿工具 Tome 上线 AI 创作功能。软件接入 GPT-3 与 DALL-E 2,输入主题即可自动生成包含文字大纲与配图的幻灯片初稿,插图支持换提示词重绘。目前该功能处于测试期且免费开放,后续将支持复杂图表排版并引入收费方案。
Reface 首席执行官在《福布斯》撰文,分析生成式 AI 对艺术创作与商业的冲击。从 DreamStudio 首月破百万用户到设计工具全面接入,AI 正在颠覆内容生产。他建议企业积极把 AI 工具嵌入产品,将普通用户转化为创作者。
斯坦福大学 AIMI 研究人员通过微调开源 Stable Diffusion,成功生成了具备病变特征的逼真胸部 X 光片。研究证明通用潜扩散模型无需昂贵算力即可迁移到专业医学领域,有助于填补罕见病数据缺口。不过目前生成图像多样性有限,且协议禁止直接用于诊断。
Stable Diffusion 2.0 正式发布,最大看点是新增 depth2img 功能。该功能利用 MiDaS 算法根据 2D 图推算深度图,生成时能严格保留主体的 3D 几何结构。这意味着 3D 创作者只要搭个简单灰盒,就能直接用 AI 快速探索材质与光影方案。
Text-CAD 将自然语言建模与硬件制造全流程打通。它打包了 11 个工程技能,支持从文本生成 STEP、检索 step.parts 超 1.6 万个开源标准件,并直连本地拓竹打印机切片。最值得关注的是它让模型写 Python 代码而非直接输出二进制,把不可控生成变成了可核验工序。