研究人員推出 13B 復古模型 Talkie：只讀過 1931 年前文本，零汙染測 AI 泛化

如果把一個大語言模型的知識庫硬生生切在 1930 年底，完全不讓它接觸現代網際網路，它會怎麼看世界？

前 OpenAI 研究員 Alec Radford 與前 Anthropic 研究員 David Duvenaud，以及 Nick Levine 一起做了一次大膽的實驗。他們推出了擁有 130 億引數的復古語言模型 Talkie，訓練資料完全取自 1931 年之前的書籍、報紙、期刊、專利和法案，總計 2600 億 token。

這不僅是一個能陪你用維多利亞或爵士時代口吻閒聊的玩具，更是為了解答一個核心問題：當 AI 徹底告別現代網際網路，它到底還能剩下多少推理和理解能力？

沒見過電腦，卻猜對了怎麼寫程式碼

為了看清 Talkie 的底子，研究團隊做了一組極具反差的測試。其中最耐人尋味的，是讓它去寫 Python 程式碼。

在 1930 年，數字計算機和程式語言根本不存在。研究團隊在上下文裡給了 Talkie 幾個極簡的 Python 示例，然後讓它補全一個新函式。結果讓人意外，它在幾個簡單任務上答對了。

比如在面對一個凱撒移位加密函式時，給它看加密邏輯，它居然能通過把加號改成減號，寫出正確的解密函式。程式碼雖然只有一行修改，但這意味著即便沒有任何現代程式碼儲備，模型僅靠少樣本上下文，就隱約摸到了「逆函式」的抽象邏輯。

另一個測試是讓它預測歷史。研究人員給它輸入 1930 年之後的歷史事件描述，觀察它的「驚訝程度」。結果顯示，模型面對 1930 年以前的事件表現平穩，但一跨過知識截止點，驚訝度迅速攀升，在 1950 和 1960 年代尤為明顯，隨後逐漸趨於平緩。這說明純歷史模型能作為一個天然的基準，去測量 AI 在沒有資訊輸入時的真實預測邊界。

歷史穿越者的兩道難關：漏網之魚與糟糕的掃描件

製造一個「古代模型」遠比想像中複雜，最大的敵人是資料洩漏。

團隊用 n-gram 分類器過濾了現代文本，但依然很難做到絕對純淨。早期 7B 版本的 Talkie 甚至清楚羅斯福總統的新政，而當前的 13B 版本也依稀知道二戰與戰後聯合國的分工。此外，1930 年前的文獻全靠紙張掃描，古早 OCR 系統的識別錯誤讓訓練效果大打折扣。實驗表明，傳統 OCR 文本訓練出來的模型效能，只有人工精校文本的 30%。

更棘手的是對話微調。如果直接拿現代的問答對去給模型對齊，模型一張嘴就會帶出現代助手的腔調。

為此，團隊翻出了百年前的禮儀指南、信件範本和食譜來提取指令，再由 Claude Sonnet 4.6 充當裁判進行偏好最佳化。雖然強化學習有時還是會讓它染上現代網際網路偏愛的「清單體」，但 Talkie 最終展現出了令人信服的古風對話體驗。

為什麼重要

當下的前沿模型越來越同質化。無論是 GPT、Claude 還是 Gemini，它們本質上都在喝同一桶現代網際網路的水，也共同承受著基準測試被自身資料汙染的困擾。你很難分清一個模型是在推理，還是在背誦它早已看過的測試題答案。

Talkie 的核心價值，在於它提供了一張乾乾淨淨的「白紙」。它把資料汙染徹底物理隔絕在 1930 年之前，讓研究者第一次擁有了一個無汙染的標尺，可以真正去驗證模型脫離記憶後的泛化能力、發現新科學規律的可能性，以及資料分佈如何塑造 AI 的思維方式。

從架構上看，團隊用同等算力和相同架構做了一個現代資料集（FineWeb）訓練的雙胞胎模型。雖然 Talkie 在常識知識上落後，但在核心語言理解和基礎數感上幾乎與現代模型並駕齊驅。這證明人類語言底層的邏輯結構，並不依賴網際網路時代的資訊爆發。

目前使用者已經可以直接在網頁端與 Talkie 對話。如果你問它 TikTok 是什麼，它多半會以為那是 19 世紀發明的某種發信機械。我們認為，儘管它受制於 OCR 噪音和少量資料洩漏，但團隊計劃在今年夏天推出 GPT-3 級別的新版，並把語料擴充到萬億級別。這種逆流而上的復古探索，或許正是幫行業走出資料汙染泥潭的一劑良藥。