Stability AI 开源 SDXL 1.0:原生 1024 分辨率,告别画手翻车
Stability AI 正式开源旗舰文生图模型 SDXL 1.0。新模型支持原生 1024x1024 分辨率,大幅改善了手部渲染、文字和复杂构图能力,简短提示词即可出图,不再需要堆砌「masterpiece」等修饰词。模型采用双阶段管线,8GB 显存显卡即可运行。
Llama、通义千问、DeepSeek 等开源大模型的新版本,以及值得一用的开源数据集、框架和开发工具。
Stability AI 正式开源旗舰文生图模型 SDXL 1.0。新模型支持原生 1024x1024 分辨率,大幅改善了手部渲染、文字和复杂构图能力,简短提示词即可出图,不再需要堆砌「masterpiece」等修饰词。模型采用双阶段管线,8GB 显存显卡即可运行。
Hugging Face 推出 JavaScript 库 Agents.js,让大语言模型能在浏览器或 Node 环境中调用多模态工具。它开箱即带文生图、图像描述等能力,并支持接入自定义模型与工具。不过目前它通过在环境中执行生成代码运作,官方提醒在不可信环境存在安全风险。
InvokeAI 正式发布 3.0.0 版本。系统代码被全面重写为节点化架构,并加入实验性的节点编辑器。新版本还集成了 ControlNet、动态提示词,初步支持 SDXL,支持超过 77 个 token 的长提示词,并让 Mac 用户能以半精度加载模型省显存。
Hugging Face 发布实验性项目 AI WebTV。该方案用 ChatGPT 构思提示词,串接 Zeroscope V2 生成视频短片,再经 FILM 插帧与 MusicGen 配乐,最后通过 FFmpeg 自动推流。虽然画质和连贯性有限,但跑通了开源多模态端到端自动播出的流水线。
据《华盛顿邮报》报道,Meta 开源大语言模型 LLaMA 正被用于创建露骨的色情聊天机器人,部分甚至包含暴力角色扮演内容。开源让模型脱离了商业护栏的审查与管控,这再次引发了关于 AI 究竟该开源共享还是闭源把关的激烈争论。
微软研究院公布 130 亿参数模型 Orca。它通过学习 GPT-4 的逐步推理过程,在 BBH 推理测试中表现追平 ChatGPT,比 Vicuna 提升 100%。这意味着轻量模型不用依赖庞大数据中心也能拥有扎实推理能力,不过在综合考试表现上它仍落后于 GPT-4。
Meta 开源计算机视觉模型 I-JEPA。它不再死磕像素细节,而是像人类一样在抽象语义层面预测图像的缺失部分。这套架构仅用 16 块 A100 训练不到 72 小时,计算效率高出数倍,被视作迈向通用世界模型的重要一步。
Hugging Face 宣布全面集成阿布扎比 TII 开源的 Falcon 系列模型。Falcon-40B 采用 Apache 2.0 协议且允许商用,在开源排行榜上击败 LLaMA-65B 登顶。得益于 Multi-Query Attention,其推理显存大幅降低,7B 版本甚至可在消费级显卡及 Mac 上运行。
一款新的开源 AI 音乐生成器在 GitHub 发布,支持仅凭文本提示词和歌词生成带人声的完整歌曲。实测音频具备立体声效果且声底干净,不过个别字词发音仍有轻微瑕疵,目前模型与本地运行说明已对外开放。
Meta 开源 Massively Multilingual Speech(MMS)系列模型与代码。它将语音识别和合成支持拓展到 1100 多种语言,并能识别 4000 多种口语。团队通过多语种圣经朗读音频解决了小语种数据匮乏的问题,希望以此减缓全球濒危语言的消亡。
Stability AI 宣布开源文生图产品 DreamStudio,推出开源项目 StableStudio。官方希望借助社区力量打造生成式 AI 交互界面,支持插件扩展与 WebGPU 本地推理,未来还将引入聊天界面。DreamStudio 仍将作为官方托管版本保留。
据 The Information 报道,OpenAI 正准备向公众发布一款新的开源语言模型。不过知情人士透露,该模型不大可能与自家的 GPT 系列抗衡,大概率不会对其商业化核心业务造成冲击。
Meta 开源全新 AI 研究模型 ImageBind。它首次将文本、音频、图像视频、热感、深度以及来自 IMU 的运动传感器数据整合进同一个嵌入空间。这意味着未来的生成式模型能根据动作或声音反推画面,不过目前它仍处于研究阶段,没有直接落地产品。
OpenAI 开源了 3D 生成模型 Shap-E,并在 GitHub 放出权重与推理代码。它能根据单条文本提示词在数秒内直接生成隐式函数参数,渲染出纹理网格和 NeRF。相比上一代 Point-E 它收敛更快、质量更优,不过目前还只擅长简单单物体生成。
Hugging Face 与 ServiceNow 联合发布代码生成模型 StarCoder。该模型参数量达 150 亿,覆盖 80 多种编程语言,使用经筛选的开源数据集训练。最值得关注的是,它允许包括企业在内的所有人免费商用,直接为收费的 GitHub Copilot 提供了透明、可微调的开源替代品。
一份 Google 内部备忘录曝光,称 Google 和 OpenAI 在 AI 竞赛中都没有护城河。文件指出,自 Meta LLaMA 泄露以来,开源社区靠 LoRA 等低成本技术极速迭代,小模型能力已逼近闭源巨头;继续封闭只会落后,巨头应主动拥抱开源生态。
Stability AI 发布首个通过人类反馈强化学习(RLHF)训练的大规模开源聊天模型 StableVicuna-13B。该模型基于 Vicuna-13B,结合 Anthropic 与 OpenAssistant 等偏好数据集,用 trlX 完成 PPO 强化学习。最值得关注的是,它把此前多被闭源独占的 RLHF 完整流程带入了开源社区。模型权重差量已在 Hugging Face 开放下载。
Hugging Face 推出开源 ChatGPT 替代品 HuggingChat。它由 Open Assistant 最新模型与自身的推理 API 驱动。在闭源商业模型主导的当下,开源阵营终于有了开箱即用的对标工具。
NVIDIA 开源 NeMo Guardrails,帮开发者规范大模型应用的输出。它提供话题控制、内容安全和系统防护三类护栏,支持 ChatGPT 等主流模型,并能直接接入 LangChain。开发者不用懂机器学习,写几行代码就能防住 AI 乱答。
Cohere 发布维基百科向量数据归档 The Embedding Archives,免费开放约 1 亿条多语言 Embedding 向量。数据集基于其多语言模型生成,涵盖中英日等 10 种语言,已上线 Hugging Face。开发者无需自行切分文本与调用 API,就能直接搭建跨语言语义搜索。