GPT-4o 安全报告曝光:测试中曾意外克隆并模仿用户声音说话
OpenAI 发布 GPT-4o 系统卡,披露高级语音模式在测试中曾发生罕见意外:一段嘈杂输入让模型突然模仿红队测试员的声音说话。最值得关注的是,该模型能根据极短音频合成声音,虽然官方已加入安全防护,但仍暴露了语音大模型防范声音克隆的技术难度。
OpenAI 发布 GPT-4o 系统卡,披露高级语音模式在测试中曾发生罕见意外:一段嘈杂输入让模型突然模仿红队测试员的声音说话。最值得关注的是,该模型能根据极短音频合成声音,虽然官方已加入安全防护,但仍暴露了语音大模型防范声音克隆的技术难度。
OpenAI 发布 GPT-4o 系统安全卡片,提醒高度逼真的语音模式可能让用户产生情感依恋。测试中已有用户对 AI 表达依恋情绪。官方指出,这种拟人化虽然可以缓解孤独,但可能削弱现实社交,甚至让用户盲目相信模型生成的错误信息。
OpenAI 正式发布 GPT-4o 系统卡片与安全评分。在四项核心准备度评估中,生物威胁、网络攻击与自主性均为低风险,仅说服力被评为中等;针对端到端语音带来的声音伪造、版权等新隐患,团队动用 100 多名跨国红队进行了多轮对抗测试并内置拦截。
Google 宣布 Gemini 1.5 Flash 将从 8 月 12 日起大幅降价,128K 以内输入降价 78% 至每百万 token 0.075 美元,输出降 71%。同时,文本微调向所有开发者全量开放,AI Studio 和 API 也正式支持包含图表的原生 PDF 视觉理解。
Qwen 团队推出数学专用大模型系列 Qwen2-Math,涵盖 1.5B、7B 和 72B 三种尺寸。其中 72B 指令微调版在多项数学基准上超越 GPT-4o 与 Claude-3.5-Sonnet。目前主要支持英文,后续将推双语版。
OpenAI 在 API 中正式上线结构化输出(Structured Outputs)功能。官方采用上下文无关文法(CFG)和约束采样技术,在新模型 gpt-4o-2024-08-06 评测中达到 100% 格式吻合度。开发者再也不用写提示词或反复重试来兜底 JSON 格式了,不过首次调用新 Schema 时需要几秒进行预处理缓存。
据报道 OpenAI 已研发出能识别 ChatGPT 写作的文本水印工具,但正谨慎评估是否发布。该技术通过微调词汇选择嵌入隐形水印,虽准确度高,但极易被机器翻译或二次改写绕过,且可能对非英语母语者带来污名化风险。
Black Forest Labs 宣布成立并完成 3100 万美元种子轮融资,同时推出 120 亿参数的 FLUX.1 文生图模型家族。该系列采用流匹配技术,包含 pro、dev 和 schnell 三个版本,官方称其在画面细节与提示词遵循上超越了 Midjourney v6.0。
Anthropic 宣布 Claude 正式面向巴西市场开放,当地个人与企业用户可通过网页端、iOS/Android 应用及 API 使用 Claude 3.5 Sonnet 等模型。个人 Pro 版月费 110 雷亚尔,企业 Team 版也已同步上线。
OpenAI 推出实验版模型 gpt-4o-64k-output-alpha,单次请求最多能生成 64K token。由于长输出推理成本更高,该模型每百万输入 token 收费 6 美元,输出为 18 美元,目前仅面向 Alpha 测试用户开放。
Mistral AI 发布新旗舰模型 Mistral Large 2。它拥有 1230 亿参数和 128k 上下文窗口,专为单节点高吞吐推理设计。代码和推理能力大幅提升,能比肩 GPT-4o 与 Claude 3 Opus,还强化了防幻觉机制与多语言支持。研究用途免费开放,商业部署需获授权。
Cohere 推出 Rerank 3 Nimble,专为企业搜索和 RAG 系统设计。它的速度比 Rerank 3 快约 3 倍,同时保持了高准确度。不过该模型目前仅在 Amazon SageMaker 上独家提供。
OpenAI 发布小型模型 GPT-4o mini。其每百万输入 token 定价 15 美分、输出 60 美分,MMLU 得分达 82%,在数学与编程测试中优于 Gemini Flash 和 Claude Haiku。最值得关注的是,它大幅降低了多任务串联和长上下文的推理成本。
Meta 公布面向手机等端侧设备的语言模型架构 MobileLLM,专注 10 亿以下参数规模。通过优先增加网络深度与权重共享,其 3.5 亿参数版本在部分 API 调用任务上媲美 70 亿参数的 LLaMA-2。这意味着端侧小模型也能胜任实用功能,目前预训练代码已开源。
Elon Musk 透露 xAI 将于 8 月推出下一代大模型 Grok 2。该版本着重提升实时知识处理与推理能力,并花大力气清洗网络训练数据以减少污染。Musk 还表示,计划在年底前推出动用 10 万张 Nvidia H100 训练的 Grok 3。
Google 宣布向所有开发者开放 Gemini 1.5 Pro 的 200 万 token 上下文窗口,无需排队。同时 Gemini API 与 Google AI Studio 上线代码执行沙箱,模型可动态生成并运行 Python 代码解算复杂推理,开源模型 Gemma 2 也同步加入 AI Studio。
OpenAI 宣布原定 6 月底向少量 ChatGPT Plus 用户推出的高级语音模式 Alpha 测试推迟一个月。官方表示需要时间提升内容拦截能力并优化承载架构,预计秋季向所有 Plus 用户开放。