ChatGPT 也想放假？测试显示 GPT-4 设在 12 月会偷懒变短

首次发布 2023年12月11日 UTC 18:35传播指数 34

研究者测试发现，GPT-4-turbo 在系统提示词被告知是 12 月时，生成的代码长度显著短于设定为 5 月（4086 对比 4298 字符，p < 2.28e-07）。这为此前流传的「AI 冬假假说」提供了统计支持，表明大模型可能学到了人类临近节日想少干活的习惯。

到了年底，连 AI 都要休年假？最近不少人吐槽 ChatGPT 越来越懒，大家原本以为只是心理作用，结果真有人用统计数据把它测出来了。

沃顿商学院教授 Ethan Mollick 转发了一位开发者 Rob Lynch 的实验，直呼所谓的「AI 寒假假说」可能真站得住脚。

5 月比 12 月多写了两百多个字

Rob Lynch 调用 gpt-4-turbo 的 API 做了一项严格对比。他给模型输入完全相同的代码补全任务，要求在不使用外部库的前提下实现一个机器学习任务。

唯一的变量是系统提示词里的日期。一组告诉模型现在是 5 月，另一组告诉模型现在是 12 月。

在两个日期设定下各跑了 477 次测试后，数据出现了明显的差异：5 月设定的平均输出长度为 4298，而 12 月设定的平均长度缩水到了 4086。

t 检验的 p 值小于 2.28e-07，在统计学上高度显著。这意味着，仅仅告诉模型当前是 12 月，它生成的回答长度就会明显变短。

对日常依赖 AI 写代码的用户来说，这项测试给了一个非常直接的破局小技巧：如果你觉得年底的 GPT-4 回答太敷衍，不妨直接在系统提示里把时间改成 5 月试试。

但从模型机制来看，这件事显得既荒谬又耐人寻味。大语言模型从海量人类文本中训练，看起来它不仅学会了代码和知识，甚至把人类在 12 月假日前后习惯性摸鱼、少干活的社会行为模式也一起学了进去。

我们认为，这项实验最大的警示在于系统黑盒的不可预测性。很多开发者习惯在系统提示中注入动态时间戳，但没人能想到，一个平平无奇的系统元数据，竟然会无意间触发模型的负面怠工行为。提示词工程的精细程度，远比大家想象的要微妙。