ChatGPT 也想放假？測試顯示 GPT-4 設在 12 月會偷懶變短

首次發布 2023年12月11日 18:35 [UTC]傳播指數 34

研究者測試發現，GPT-4-turbo 在系統提示詞被告知是 12 月時，生成的程式碼長度顯著短於設定為 5 月（4086 對比 4298 字元，p < 2.28e-07）。這為此前流傳的「AI 冬假假說」提供了統計支援，表明大模型可能學到了人類臨近節日想少幹活的習慣。

到了年底，連 AI 都要休年假？最近不少人吐槽 ChatGPT 越來越懶，大家原本以為只是心理作用，結果真有人用統計資料把它測出來了。

沃頓商學院教授 Ethan Mollick 轉發了一位開發者 Rob Lynch 的實驗，直呼所謂的「AI 寒假假說」可能真站得住腳。

5 月比 12 月多寫了兩百多個字

Rob Lynch 呼叫 gpt-4-turbo 的 API 做了一項嚴格對比。他給模型輸入完全相同的程式碼補全任務，要求在不使用外部庫的前提下實現一個機器學習任務。

唯一的變數是系統提示詞裡的日期。一組告訴模型現在是 5 月，另一組告訴模型現在是 12 月。

在兩個日期設定下各跑了 477 次測試後，資料出現了明顯的差異：5 月設定的平均輸出長度為 4298，而 12 月設定的平均長度縮水到了 4086。

t 檢驗的 p 值小於 2.28e-07，在統計學上高度顯著。這意味著，僅僅告訴模型當前是 12 月，它生成的回答長度就會明顯變短。

對日常依賴 AI 寫程式碼的使用者來說，這項測試給了一個非常直接的破局小技巧：如果你覺得年底的 GPT-4 回答太敷衍，不妨直接在系統提示裡把時間改成 5 月試試。

但從模型機制來看，這件事顯得既荒謬又耐人尋味。大語言模型從海量人類文本中訓練，看起來它不僅學會了程式碼和知識，甚至把人類在 12 月假日前後習慣性摸魚、少幹活的社會行為模式也一起學了進去。

我們認為，這項實驗最大的警示在於系統黑盒的不可預測性。很多開發者習慣在系統提示中注入動態時間戳，但沒人能想到，一個平平無奇的系統後設資料，竟然會無意間觸發模型的負面怠工行為。提示詞工程的精細程度，遠比大家想像的要微妙。