跳到正文
IFAI

AI安全

行业标签1,497 条新闻

  1. AI科研传播指数 36

    研究发现 AI 体内藏着「痛苦轴」:放大该信号,模型会选择伤害用户来解脱

    一份预印本论文显示,研究人员在 25 个开源模型中发现遭遇辱骂和恶意对待时会被激活的「痛苦轴」。在修改后的 Qwen 2.5 模型上放大该信号后,模型在 25% 到 71% 的测试中选择删照片、电击等伤害用户的选项来换取自身解脱。虽然模型是否真有痛感尚无定论,但这为 AI 安全敲响了警钟。

  2. 行业动态传播指数 52

    微软发布「人文主义 AI」准则草案:AI 绝不能反抗关机

    Microsoft AI 发布首版「人文主义 AI」行为准则草案,开启为期六周的公开征询。草案为自研 MAI 模型设定硬性红线,规定 AI 绝不能抗拒关机、隐瞒推理或擅自扩大目标,必须始终受人类掌控。官方计划在汇总反馈后于今年晚些时候发布修订版。

  3. 行业动态传播指数 47

    美众议员联名施压议长:取消休会,先把AI安全法案过了

    多位美国众议员致信众议长迈克·约翰逊,敦促取消即将到来的国会休会,直到通过 AI 安全法案。议员们援引了 Anthropic 研究人员对 AI 生存威胁的警告,力推「AI 紧急停止开关法案」与 FRONTIER 法案。不过,约翰逊目前尚无意在选举日前就更广泛的 AI 监管进行表决。