Karpathy 发布 3.5 小时视频：带普通人看透大模型训练全流程

想搞懂大模型到底是怎么造出来的，许多人可能会被铺天盖地的学术论文和专业行话劝退。

OpenAI 联合创始人 Andrej Karpathy 最近在 YouTube 上传了一期长达 3 小时 31 分钟的重磅视频，名字就叫《深度解析 ChatGPT 这类大语言模型》（Deep Dive into LLMs like ChatGPT）。

虽然时长堪比一部加长版商业大片，但 Karpathy 把它定位给普通大众。哪怕你完全没有技术背景，也能顺着他画的架构草图，看懂大模型完整的训练链条。

预训练、微调与所谓的「大模型心理学」

整个视频把大模型的诞生切成了三个阶段：预训练、监督微调和强化学习。

在预训练部分，Karpathy 拆解了模型怎么吞下整个互联网。比如像 FineWeb 这样包含超过 12 亿个网页的数据集，必须经过严苛过滤去掉噪音，再通过分词器切碎变成数字编号。GPT-4 的词表就设计了 100,277 个 token。

有意思的是成本对比。2019 年 OpenAI 训练 16 亿参数的 GPT-2 花了 4 万美元，而 Karpathy 用自己编写的 llm.c 项目复现同样的模型，硬件花费已经降到了 672 美元，未来优化后甚至有望压到 100 美元左右。

第二阶段则是给基础模型注入规矩的监督微调。Karpathy 提出了一个很有意思的说法叫「LLM 心理学」，专门解释那些让人捉摸不透的现象。

比如为什么大模型数不清一个英文单词里有几个字母、为什么容易产生幻觉、以及为什么它必须吐出思考过程才能解出难题。说白了，模型需要消耗 token 来代替思考时间，如果直接让它给出复杂答案，它只能凭概率硬猜。

最后是目前业内最关心的强化学习。Karpathy 不仅拆解了人类反馈强化学习（RLHF），还结合最近大火的 DeepSeek-R1 和当年的 AlphaGo，解释了模型如何通过不断试错和奖励机制实现熟能生巧。

为什么重要

对于日常依赖 AI 的普通人、创作者或者做提示词工程的开发者来说，这 3 个半小时非常值得花。

你不再需要去死记硬背各种 prompt 技巧，只要理解了「模型需要 token 思考」和分词机制，你就会明白为什么让模型先输出推理步骤能立竿见影地减少幻觉，为什么有些拼写和计数任务模型总是翻车。

在行业层面，Karpathy 这种顶级科学家的公开布道，正在把顶级实验室里心照不宣的技术黑话，彻底变成行业公共知识。从 GPT-2 复现成本缩减到几百美元，再到对 DeepSeek-R1 强化学习机制的拆解，都在打破头部闭源厂商的神秘感。

我们认为 Karpathy 最厉害的地方，在于他用最朴素的直觉模型讲透了极其复杂的工程。整场视频没有任何故弄玄虚的数学推导，而是用大白话和白板草图把整个技术栈摊开在阳光下。

唯一的门槛大概就是 211 分钟的时长。但相比于在网上看碎片化、甚至互相矛盾的二手 AI 解读，直接跟着一手缔造过现代大模型的顶级专家完整走一遍，可能是目前理解 LLM 最扎实、性价比最高的一课。