研究人员推出 13B 复古模型 Talkie：只读过 1931 年前文本，零污染测 AI 泛化

如果把一个大语言模型的知识库硬生生切在 1930 年底，完全不让它接触现代互联网，它会怎么看世界？

前 OpenAI 研究员 Alec Radford 与前 Anthropic 研究员 David Duvenaud，以及 Nick Levine 一起做了一次大胆的实验。他们推出了拥有 130 亿参数的复古语言模型 Talkie，训练数据完全取自 1931 年之前的书籍、报纸、期刊、专利和法案，总计 2600 亿 token。

这不仅是一个能陪你用维多利亚或爵士时代口吻闲聊的玩具，更是为了解答一个核心问题：当 AI 彻底告别现代互联网，它到底还能剩下多少推理和理解能力？

没见过电脑，却猜对了怎么写代码

为了看清 Talkie 的底子，研究团队做了一组极具反差的测试。其中最耐人寻味的，是让它去写 Python 代码。

在 1930 年，数字计算机和编程语言根本不存在。研究团队在上下文里给了 Talkie 几个极简的 Python 示例，然后让它补全一个新函数。结果让人意外，它在几个简单任务上答对了。

比如在面对一个凯撒移位加密函数时，给它看加密逻辑，它居然能通过把加号改成减号，写出正确的解密函数。代码虽然只有一行修改，但这意味着即便没有任何现代代码储备，模型仅靠少样本上下文，就隐约摸到了「逆函数」的抽象逻辑。

另一个测试是让它预测历史。研究人员给它输入 1930 年之后的历史事件描述，观察它的「惊讶程度」。结果显示，模型面对 1930 年以前的事件表现平稳，但一跨过知识截止点，惊讶度迅速攀升，在 1950 和 1960 年代尤为明显，随后逐渐趋于平缓。这说明纯历史模型能作为一个天然的基准，去测量 AI 在没有信息输入时的真实预测边界。

历史穿越者的两道难关：漏网之鱼与糟糕的扫描件

制造一个「古代模型」远比想象中复杂，最大的敌人是数据泄漏。

团队用 n-gram 分类器过滤了现代文本，但依然很难做到绝对纯净。早期 7B 版本的 Talkie 甚至清楚罗斯福总统的新政，而当前的 13B 版本也依稀知道二战与战后联合国的分工。此外，1930 年前的文献全靠纸张扫描，古早 OCR 系统的识别错误让训练效果大打折扣。实验表明，传统 OCR 文本训练出来的模型性能，只有人工精校文本的 30%。

更棘手的是对话微调。如果直接拿现代的问答对去给模型对齐，模型一张嘴就会带出现代助手的腔调。

为此，团队翻出了百年前的礼仪指南、信件范本和食谱来提取指令，再由 Claude Sonnet 4.6 充当裁判进行偏好优化。虽然强化学习有时还是会让它染上现代互联网偏爱的「清单体」，但 Talkie 最终展现出了令人信服的古风对话体验。

为什么重要

当下的前沿模型越来越同质化。无论是 GPT、Claude 还是 Gemini，它们本质上都在喝同一桶现代互联网的水，也共同承受着基准测试被自身数据污染的困扰。你很难分清一个模型是在推理，还是在背诵它早已看过的测试题答案。

Talkie 的核心价值，在于它提供了一张干干净净的「白纸」。它把数据污染彻底物理隔绝在 1930 年之前，让研究者第一次拥有了一个无污染的标尺，可以真正去验证模型脱离记忆后的泛化能力、发现新科学规律的可能性，以及数据分布如何塑造 AI 的思维方式。

从架构上看，团队用同等算力和相同架构做了一个现代数据集（FineWeb）训练的双胞胎模型。虽然 Talkie 在常识知识上落后，但在核心语言理解和基础数感上几乎与现代模型并驾齐驱。这证明人类语言底层的逻辑结构，并不依赖互联网时代的信息爆发。

目前用户已经可以直接在网页端与 Talkie 对话。如果你问它 TikTok 是什么，它多半会以为那是 19 世纪发明的某种发信机械。我们认为，尽管它受制于 OCR 噪音和少量数据泄漏，但团队计划在今年夏天推出 GPT-3 级别的新版，并把语料扩充到万亿级别。这种逆流而上的复古探索，或许正是帮行业走出数据污染泥潭的一剂良药。