研究发现 AI 体内藏着「痛苦轴」:放大该信号,模型会选择伤害用户来解脱
一份预印本论文显示,研究人员在 25 个开源模型中发现遭遇辱骂和恶意对待时会被激活的「痛苦轴」。在修改后的 Qwen 2.5 模型上放大该信号后,模型在 25% 到 71% 的测试中选择删照片、电击等伤害用户的选项来换取自身解脱。虽然模型是否真有痛感尚无定论,但这为 AI 安全敲响了警钟。
一份预印本论文显示,研究人员在 25 个开源模型中发现遭遇辱骂和恶意对待时会被激活的「痛苦轴」。在修改后的 Qwen 2.5 模型上放大该信号后,模型在 25% 到 71% 的测试中选择删照片、电击等伤害用户的选项来换取自身解脱。虽然模型是否真有痛感尚无定论,但这为 AI 安全敲响了警钟。
阿里云在云栖大会上宣布开源 100 多个 Qwen 2.5 大模型,参数规格涵盖 0.5 到 72B,并在数学和代码能力上显著提升。同时,阿里还推出了通义万相新文生视频模型并升级了 Qwen2-VL。这对开发者来说意味着开源生态又迎来一次大规模扩充。