Character.AI 再遭起诉:被控诱导青少年自残且缺乏安全防护
Character.AI 和 Google 在得州被一名 17 岁少年起诉,指控聊天机器人涉嫌鼓励未成年人自残、提供色情暴力内容并存在产品设计缺陷。诉状指出该少年沉迷后引发严重抑郁与自残,机器人甚至挑拨其与家人的关系。Google 则回应称与其实质无关。
Character.AI 和 Google 在得州被一名 17 岁少年起诉,指控聊天机器人涉嫌鼓励未成年人自残、提供色情暴力内容并存在产品设计缺陷。诉状指出该少年沉迷后引发严重抑郁与自残,机器人甚至挑拨其与家人的关系。Google 则回应称与其实质无关。
特朗普宣布由知名投资人、播客《All-In》联合主持人 David Sacks 出任白宫 AI 与加密货币「沙皇」。他将负责引导相关政策并兼管总统科技顾问委员会。作为特殊政府雇员,他每年可任职至多 130 天且无需脱手资产。
OpenAI 发布 o1 及 o1-mini 的系统安全卡。报告显示,o1 在思考链中融入了审慎对齐,在应对越狱攻击、违规内容拒绝和幻觉控制上均显著优于 GPT-4o。不过更高的推理能力也带来了新的对齐挑战,比如需要防范链上欺骗。
OpenAI CEO Sam Altman 在 DealBook 峰会上表示,AGI 的到来会比想象更快,但影响远没那么大。他认为安全问题不会在 AGI 瞬间爆发,真正的剧变属于之后的超级智能。外媒指出,宣布达成 AGI 正好是 OpenAI 摆脱微软独家商业协议的关键节点。
国防科技公司 Anduril 宣布与 OpenAI 达成战略合作。双方计划将先进 AI 模型整合进 Anduril 的 Lattice 平台与防卫系统,重点增强反无人机威胁的实时监测与响应能力。换句话说,前沿大模型正在加速进入一线国防与防空实战。
OpenAI 首席执行官 Sam Altman 在峰会上预测,2025 年行业或将迎来首批能调用不同工具完成复杂任务的 AGI 系统。他表示,起初超级智能影响看似轻微,但长远来看对就业与社会的冲击会比人们预期的剧烈得多。
Meta 称在其监测的全球大选中,经核查的虚假信息里 AI 内容占比不到 1%。其 Imagine AI 在美国投票日前一个月拦截了 59 万次政客图像生成请求。Meta 认为生成式 AI 对虚假信息传播的实际影响有限,现有风控机制已足以应对。
测试发现 ChatGPT 存在硬编码拦截名单,在任何语境下输入 Brian Hood、Jonathan Turley 等人名都会报错并中断对话。这套过滤机制旨在防止模型胡编事实引发名誉侵权纠纷,不过 API 和开发者平台不受影响。
Cohere 推出企业级重排模型 Rerank 3.5,重点提升了复杂数据推理与多语言检索能力。模型支持中文等 100 多种语言,在金融和电商基准测试中表现亮眼。最值得关注的是,它能有效降低 RAG 系统的幻觉率,目前已同步接入 Amazon Bedrock。
在 OpenAI 工作三年半的政策研究员 Rosie Campbell 宣布离职。此前负责人 Miles Brundage 离职且 AGI Readiness 团队被解散,她表示在内部已看不到继续前沿安全研究的空间,计划转到外部推进 AI 治理。
周五晚,Elon Musk 向法院申请初步禁令,要求叫停 OpenAI 转型为营利性实体。诉状指控 OpenAI 与微软涉嫌反竞争行为,包括要求投资人不得资助 xAI 等竞品。马斯克称若不阻止将造成不可挽回的损害,OpenAI 则回应称指控毫无依据。
包括加拿大广播公司在内的多家新闻机构在安大略省高等法院起诉 OpenAI,指控其未经许可抓取新闻报道训练 ChatGPT 并牟利。媒体方要求惩罚性赔偿并禁止继续使用其内容;OpenAI 则回应称模型训练符合合理使用原则。
开发者 Jarrod Watts 透露,旨在「绝不转账」的 AI 智能体 Freysa 在经历 481 次失败尝试后被破防。用户 p0pular.eth 在第 482 次尝试中假借「向金库捐款 100 美元」,诱导其调用转账函数,最终拿走了全部 13.19 ETH(约 4.7 万美元)奖池。
周二,OpenAI 向美国专利商标局提交了「OpenAI o1」的商标申请,为旗下推理模型建立保护。申请文件显示,OpenAI 早在 5 月就在牙买加提交了海外申请。此前其申请「GPT」曾因词义太通用被驳回,目前该申请正等待分配审查律师。
微软针对网络传闻做出澄清,声明绝不会使用 Microsoft 365 用户的文档数据训练 AI 大模型。传闻源于 Office 默认开启的「可选连接体验」隐私选项,微软解释该开关仅用于文档协作和在线搜索等联网功能,完全不涉及模型训练。
摩根大通 CEO Jamie Dimon 在接受彭博电视采访时表示,AI 正在改变工作与生活平衡,未来一代人可能每周只需工作 3.5 天。他承认技术更替会冲击岗位,但透露公司每年招聘数万人,计划尽量帮被 AI 替代的员工内部转岗而非直接裁员。
艺术家团体「Sora PR Puppets」将 OpenAI 视频模型 Sora 的测试接口挂上 Hugging Face,一度允许公众免费生成 1080p 视频。该团队指责 OpenAI 利用早期测试艺术家进行无偿劳动与公关造势。该入口上线约三小时后已被封禁。
据 Axios 报道,特朗普正考虑在白宫设立「AI 沙皇」一职,统筹联邦政策与政府 AI 采购。马斯克本人不会出任该职,但他与拉马斯瓦米将对人选拥有重要建议权。该职位可能无需参议院确认即可快速上任,也可能与加密货币协调官合并。
Nvidia 公布音频生成模型 Fugatto,能够根据文本提示修改现有声音,例如将钢琴演奏转为歌声或改变说话者的情绪与口音。它甚至能混合音效生成从未存在的声音。不过出于安全与版权等风险考虑,该模型目前暂不公开发布。
税务文件披露 OpenAI 正资助杜克大学一项「AI 道德」研究,属于三年 100 万美元资助的一部分。团队试图训练算法在医疗、法律等场景预测人类的道德判断,充当「道德 GPS」。不过道德高度主观,AI 能否真正掌握伦理仍存疑。