探测 o1 推理过程或被封号:OpenAI 发警告信严守「思维链」
OpenAI 自上周推出具备推理能力的 o1 模型后,开始向试图窥探其隐藏思维链的用户发送警告信甚至威胁封号。o1 在界面中只展示经二道过滤的思考总结,不少用户和安全研究员尝试用提示词注入套取真实过程,甚至输入「reasoning trace」一词就会触发违规警告。
OpenAI 自上周推出具备推理能力的 o1 模型后,开始向试图窥探其隐藏思维链的用户发送警告信甚至威胁封号。o1 在界面中只展示经二道过滤的思考总结,不少用户和安全研究员尝试用提示词注入套取真实过程,甚至输入「reasoning trace」一词就会触发违规警告。
OpenAI 宣布将安全与安保委员会转为独立的董事会监督委员会,由卡内基梅隆大学的 Zico Kolter 担任主席。该委员会拥有在安全顾虑解决前推迟模型发布的权力,相当于给前沿模型发布设置了独立的刹车机制。
据 Fortune 报道,Sam Altman 在员工周会上透露,OpenAI 计划在 2025 年摆脱非营利实体的控制,转向传统营利性架构。目前其营利业务受非营利母公司监管且设有利润上限,有消息称投资者要求取消上限以促成新一轮融资。不过官方回应称非营利部门仍将保留。
周四,OpenAI 宣布 ChatGPT 周活跃用户达到 2 亿,相比去年 11 月的 1 亿翻了一倍。官方将增长归功于 GPT-4o 上线以及将文档分析等 Plus 功能下放给免费用户。此外,自 7 月发布 GPT-4o mini 以来其 API 用量也已翻倍,92% 的财富 500 强企业正在使用其产品。
Plaud 推出可穿戴 AI 设备 NotePin。与试图取代手机的 Humane 不同,它只做一件事:记笔记。设备可作为项链、手环或胸针佩戴,录音后由 OpenAI 的 GPT-4o 整理转写。功能做减法,反而让 AI 硬件看着更靠谱了。
周四,美国 AI 安全研究所宣布与 OpenAI、Anthropic 签署备忘录,两家公司同意在主要新模型发布前后向该机构开放访问权限,以协助评估风险与提出改进建议。此举正值美国探讨 AI 监管边界之际,此前两家公司曾对加州 SB 1047 安全法案表达顾虑。
据 Variety 报道,奥普拉将主持 ABC 黄金档特别节目《AI and the Future of Us》,定于 9 月 12 日播出。节目将对话 OpenAI CEO 奥特曼、比尔·盖茨和博主 Marques Brownlee 等人,用通俗语言拆解 AI 对普通人日常生活、就业及教育的冲击。
据《华尔街日报》报道,Apple 正洽谈参与 OpenAI 新一轮融资,该轮融资对 OpenAI 的估值超过 1000 亿美元。Thrive Capital 拟领投 10 亿美元,Microsoft 也在洽谈跟投。两家此前已敲定在 iOS 18 中集成 ChatGPT,这一步若落地将直接把商业合作绑成资本同盟。
加州备受争议的 AI 安全法案 SB 1047 已在州立法机构通过,正等待州长签署生效。该法案要求超大模型开发者建立并记录防范重大危害的安全保障机制。此前马斯克出人意料公开表态支持,而 OpenAI 则明确表示反对。
据 The Information 报道,OpenAI 正研发专注逻辑推理的代号模型 Strawberry,擅长数学和编程,并已向美国国家安全官员展示。最值得关注的是,Strawberry 不仅有望最快今秋集成进 ChatGPT,还在负责生成高质量合成数据,用于训练下一代旗舰模型 Orion。
Elon Musk 在 X 上公开支持加州 SB 1047 安全法案。该法案强制大模型厂商防范严重危害,即便旗下 xAI 也会被波及。最值得关注的是,老对手 OpenAI 刚刚表态反对,Musk 却认为这是一项艰难但必要的决定,并强调自己主张 AI 监管已有 20 多年。
上周,有爱好者在测试图像生成模型 Flux 时发现,通过训练 LoRA 可以在生成的画面中精准复现自定义字体。相比此前模型动辄把英文画成乱码,Flux 擅长渲染场景文字,让用户能在黑板招牌或名片上塞进指定字体。不过生成时偶尔仍会出现字母拼写偏差。
OpenAI、Adobe 与微软表态支持加州 AB 3211 法案。该法案不仅要求在 AI 生成的音视频和图片元数据中嵌入水印,还强制 Instagram、X 等大型平台必须用普通人看得懂的方式明确标注 AI 内容。此前曾以「负担过重」反对的科技巨头,在法案修正后集体倒戈支持。
OpenAI 披露亚利桑那州立大学(ASU)接入 ChatGPT Edu 的进展。全校收到超 400 份提案并已启动 200 多个项目,覆盖学术写作辅助、模拟医患对话等场景。学校强调通过教育专版确保学生隐私与研究数据安全。
OpenAI 致信加州议员及州长,正式表态反对加州争议极大的 AI 监管法案 SB 1047。公司认为该法案会减缓创新节奏、逼迫顶尖人才迁出加州,呼吁通过联邦法规统一监管。提案议员则反驳称这一指责「毫无道理」。
OpenAI 宣布与出版巨头康泰纳仕达成合作,将在 ChatGPT 和 SearchGPT 中直接展示《Vogue》《纽约客》《连线》等刊物内容。回答将附带原文直链,也是 OpenAI 扩充搜索信源与内容授权的关键一步。
OpenAI 宣布面向所有付费开发者开放 GPT-4o 微调功能。开发者只需几十条样本就能定制响应格式与行业特定语气,训练费用为每百万 token 25 美元。9 月 23 日前,每个组织每天还能获赠 100 万免费训练 token。
美国怀俄明州夏延市长候选人 Victor Miller 承诺,若胜选将让定制 ChatGPT「Vic」100% 独立决策,自己仅负责签字执行。州选举官员已裁定 AI 无权列入选票,OpenAI 也曾封禁其账号,但他仍坚持以人机混合模式参选。
OpenAI 封禁了一批关联伊朗秘密行动 Storm-2035 的 ChatGPT 账号。该团队利用 AI 生成假新闻和社媒评论试图干预美国大选与舆论。不过监测显示其帖子互动寥寥,几乎没有真实受众买账。
据报道,OpenAI 已在 ChatGPT 中上线 GPT-4o 更新版本并重夺 Chatbot Arena 榜首。官方坦言很难细致量化模型行为变化,仅表示是基于用户反馈增删数据与常规迭代,同时将最大输出扩展至 16,384 token。