Andrej Karpathy 发布两小时硬核教程：手把手带你从零构建 GPT 分词器

首次发布 2024年2月20日 UTC 17:11传播指数 50

刚离开 OpenAI 的 Andrej Karpathy 发布两小时视频教程，教开发者从零构建 GPT 分词器。视频还深入剖析了大模型翻车的原因，比如为什么反转不了字符串、算术总算不准，甚至顺带解释了为什么喂数据时 YAML 会比 JSON 更省 token。

上周刚从 OpenAI 离职的 Andrej Karpathy，很快就兑现了社区的期待。2 月 20 日上午，他在 YouTube 发布了一期长达两小时的硬核视频，带大家从零开始亲手写一个 GPT 分词器（Tokenizer）。

模型变笨，往往是分词器在捣鬼

很多人以为大模型做不好数学题，或者倒背不出单词，是因为注意力机制或推理能力不够。Karpathy 在视频后半段专门拆解了大模型分词的各种古怪现象，指出很多毛病其实根子全在分词上。

分词器就像模型与人类语言之间的翻译官。如果一个数字或单词在切片时就被切得支离破碎，模型自然很难算明白加减法，也没法顺利翻转字符串。

视频里还顺手给了一个很实用的工程细节：为什么给大模型喂结构化数据时，YAML 往往比 JSON 更好用。原因很简单，同样的数据用 YAML 格式呈现，分词器切出来的 token 数量通常更少，既省钱又省上下文空间。

如果你平时在做大模型开发、写 Prompt，或者经常调用 API，我们认为这 2 个小时完全值得花。

业内很多时候把精力全砸在模型架构、预训练和微调上，却容易忽视最前置的分词环节。搞懂分词器的原理，不仅能让你明白模型为什么会犯低级错误，还能直接指导你在工程上用 YAML 换掉 JSON，把输入成本降下来。顶级科学家亲自把工业界底层细节掰开揉碎讲明白，这种高质量的硬核教学在整个行业里依然非常稀缺。