伯克利与斯坦福推出 GEPA:无需昂贵强化学习,试错轮次省下 35 倍
UC Berkeley、斯坦福与 Databricks 联合提出新型优化方法 GEPA。它摒弃了传统强化学习依赖标量打分的暴力试错,转而让大模型分析执行日志和报错信息,靠自然语言反思迭代提示词,用少 35 倍的试错轮次实现了更优表现。
UC Berkeley、斯坦福与 Databricks 联合提出新型优化方法 GEPA。它摒弃了传统强化学习依赖标量打分的暴力试错,转而让大模型分析执行日志和报错信息,靠自然语言反思迭代提示词,用少 35 倍的试错轮次实现了更优表现。
视频理解 AI 公司 TwelveLabs 宣布完成 3000 万美元战略融资,总融资额达 1.071 亿美元。同时,前 SK Telecom CTO、Siri 核心架构师 Yoon Kim 加盟出任总裁。其模型专为视频打造,能精准检索画面内容,正加速拓展企业与安防场景。
Snowflake 推出企业级大模型 Arctic LLM,采用 Apache 2.0 协议完全开源并允许商用。该模型基于混合专家架构,总参数 480B 但每次仅激活 17B,训练成本仅约 200 万美元,主打企业数据库代码生成与 SQL 查询,表现据称优于 Databricks 的 DBRX。
Cloudflare 推出 Workers AI、Vectorize 和 AI Gateway 三款工具。开发者可按需调用就近 GPU 运行 Llama 2 等模型,配合向量数据库与用量监控降低延迟和成本。推理数据保留在本地且不参与模型训练。
NVIDIA 推出开源库 TensorRT-LLM,专为加速大语言模型推理设计。它引入动态组批与 FP8 精度,在 H100 上相比 A100 带来最高 8 倍吞吐提升,Llama 2 推理提速 4.6 倍。开发者通过 Python API 即可调用底层并行优化,大幅降低算力与电费支出。
Databricks 宣布以 13 亿美元收购生成式 AI 初创公司 MosaicML。MosaicML 拥有 MPT 系列开源模型,主打低成本训练与微调。最值得关注的是,收购后企业可直接在 Lakehouse 平台上用私有数据训练专属大模型,无需将敏感数据交给公有闭源厂商。