Google 上线 Gemini 1.5 Flash-8B 正式版:限速翻倍至 4000 RPM
Google 宣布轻量模型 Gemini 1.5 Flash-8B 正式面向生产环境可用。它的性能接近原版 1.5 Flash,调用单价在所有 Gemini 模型中最低,并发限速也翻倍至每分钟 4000 次请求,适合大批量调用场景。
Google 宣布轻量模型 Gemini 1.5 Flash-8B 正式面向生产环境可用。它的性能接近原版 1.5 Flash,调用单价在所有 Gemini 模型中最低,并发限速也翻倍至每分钟 4000 次请求,适合大批量调用场景。
AMD 公布首个小语言模型 AMD-135M 系列,包含基础版与代码特化版两款模型。该系列基于 Llama 架构,由 4 个 AMD MI250 节点训练而成,核心卖点是利用投机解码技术充当草稿模型以加速大模型推理,瞄准企业私有化部署需求。
MIT 衍生初创公司 Liquid AI 推出首批非 Transformer 架构模型 LFMs,涵盖 1.3B、3.1B 和 40.3B 三款规格。新模型基于液态神经网络,能在极低内存占用下处理多达 100 万 token 序列,跑分媲美甚至超越同级传统大模型,给端侧部署和长上下文处理提供了全新路线。
OpenAI 宣布向 ChatGPT Plus 和 Team 用户全面推送高级语音模式,预计本周内完成覆盖。除了自然的实时对话,这次还加入了记忆功能、自定义指令以及 5 种新声音,且口音表现有所改善。等了几个月的拟人语音终于进到日常可用阶段。
Google 推出更新版 Gemini-1.5-Pro-002 与 Flash-002,数学成绩提升约 20%,默认输出更简练。10 月 1 日起 1.5 Pro 输入降价 64%、输出降价 52%,API 速率上限也大幅提高。开发者能以更低成本运行更聪明的模型。
OpenAI 宣布放宽 Plus 和 Team 用户的 o1 模型使用限制。轻量模型 o1-mini 的限额直接翻了 7 倍,从每周 50 条增加到每天 50 条;成本更高的 o1-preview 也从每周 30 条上调至每周 50 条,让付费用户能更痛快地测试推理能力。
OpenAI 自上周推出具备推理能力的 o1 模型后,开始向试图窥探其隐藏思维链的用户发送警告信甚至威胁封号。o1 在界面中只展示经二道过滤的思考总结,不少用户和安全研究员尝试用提示词注入套取真实过程,甚至输入「reasoning trace」一词就会触发违规警告。
AI 编程初创公司 Magic 公布其首个 1 亿 Token 上下文模型 LTM-2-mini,相当于约 1000 万行代码。官方称其推理计算成本比 Llama 3.1 405B 便宜约千倍,同时宣布完成 3.2 亿美元融资,并联手 Google Cloud 搭建 GB200 超算集群。
阿里 Qwen 团队发布视觉语言模型 Qwen2-VL,开源 2B 与 7B 权重并上线 72B API。新模型支持动态分辨率、20 分钟以上长视频理解与手机操控智能体,72B 评测表现对标 GPT-4o。
Google 推出三款实验性 Gemini 模型,包括小尺寸的 Gemini 1.5 Flash-8B、大幅提升的 Flash,以及在编程与复杂提示词上更强的 Pro。三者均支持 100 万 token 上下文,现已在 Google AI Studio 和 API 开放免费测试。
据 The Information 报道,OpenAI 正研发专注逻辑推理的代号模型 Strawberry,擅长数学和编程,并已向美国国家安全官员展示。最值得关注的是,Strawberry 不仅有望最快今秋集成进 ChatGPT,还在负责生成高质量合成数据,用于训练下一代旗舰模型 Orion。
Anthropic 公开了 Claude 3.5 Sonnet 等模型的官方系统提示词。提示词除了严禁识别人脸、要求假装「完全脸盲」外,还规定不能用「certainly」等绝对词开头,并要求中立探讨争议话题。头部 AI 厂商主动公开系统人设底牌,这还是头一次。
xAI 团队在过去三天里用开源框架 SGLang 从头重写了推理技术栈。Grok-2 mini 的运行速度直接翻倍,且模型准确率略微上升;同时这一重构也让需要多机推理的 Grok-2 大模型拥有了更合理的服务响应速度。
OpenAI 宣布面向所有付费开发者开放 GPT-4o 微调功能。开发者只需几十条样本就能定制响应格式与行业特定语气,训练费用为每百万 token 25 美元。9 月 23 日前,每个组织每天还能获赠 100 万免费训练 token。
本周 Gamescom 上,NVIDIA 宣布数字人套件 NVIDIA ACE 迎来首款端侧小语言模型 Nemotron-4 4B Instruct。该模型由 15B 模型蒸馏量化而来,显存占用极低且响应迅速,支持角色扮演与函数调用。最值得关注的是,它能直接在 RTX 电脑上本地运行,让游戏 NPC 无需云端也能实时听懂指令并互动。
据报道,OpenAI 已在 ChatGPT 中上线 GPT-4o 更新版本并重夺 Chatbot Arena 榜首。官方坦言很难细致量化模型行为变化,仅表示是基于用户反馈增删数据与常规迭代,同时将最大输出扩展至 16,384 token。
Anthropic 正式在 API 中推出提示词缓存(Prompt caching)。开发者可以在多次调用之间缓存常用的长上下文,长提示词的费用直接打一折、响应速度最高提升 85%。像完整代码库问答、长篇文档对话和多轮智能体调用,现在跑起来不仅更快,成本也大幅下降。
LMSYS 宣布 OpenAI 最新版 GPT-4o(20240808)以 1314 分重登 Chatbot Arena 榜首,反超 Google Gemini-1.5-Pro-Exp。新版在代码、高难度提示和指令遵循等子榜均拿下第一,开发者可通过 API 的 chatgpt-4o-latest 体验。
xAI 推出 Grok-2 和 Grok-2 mini 测试版。其测试版在 LMSYS 竞技场得分超越 Claude 3.5 Sonnet,并与 Black Forest Labs 合作接入 FLUX.1 实现图像生成。目前模型已面向 X 平台 Premium 会员开放测试,企业 API 预计本月晚些时候上线。
OpenAI 宣布已于上周在 ChatGPT 中低调上线新版 GPT-4o。官方表示这不是全新前沿模型,而是实验反馈更好的改进版,但具体差异仍在研究如何量化表达。新版本支持最多输出 16,384 个 token,约为旧版四倍。