Karpathy 釋出 3.5 小時影片：帶普通人看透大模型訓練全流程

想搞懂大模型到底是怎麼造出來的，許多人可能會被鋪天蓋地的學術論文和專業行話勸退。

OpenAI 聯合創始人 Andrej Karpathy 最近在 YouTube 上傳了一期長達 3 小時 31 分鐘的重磅影片，名字就叫《深度解析 ChatGPT 這類大語言模型》（Deep Dive into LLMs like ChatGPT）。

雖然時長堪比一部加長版商業大片，但 Karpathy 把它定位給普通大眾。哪怕你完全沒有技術背景，也能順著他畫的架構草圖，看懂大模型完整的訓練鏈條。

預訓練、微調與所謂的「大模型心理學」

整個影片把大模型的誕生切成了三個階段：預訓練、監督微調和強化學習。

在預訓練部分，Karpathy 拆解了模型怎麼吞下整個網際網路。比如像 FineWeb 這樣包含超過 12 億個網頁的資料集，必須經過嚴苛過濾去掉噪音，再通過分詞器切碎變成數字編號。GPT-4 的詞表就設計了 100,277 個 token。

有意思的是成本對比。2019 年 OpenAI 訓練 16 億引數的 GPT-2 花了 4 萬美元，而 Karpathy 用自己編寫的 llm.c 專案復現同樣的模型，硬體花費已經降到了 672 美元，未來最佳化後甚至有望壓到 100 美元左右。

第二階段則是給基礎模型注入規矩的監督微調。Karpathy 提出了一個很有意思的說法叫「LLM 心理學」，專門解釋那些讓人捉摸不透的現象。

比如為什麼大模型數不清一個英文單詞裡有幾個字母、為什麼容易產生幻覺、以及為什麼它必須吐出思考過程才能解出難題。說白了，模型需要消耗 token 來代替思考時間，如果直接讓它給出複雜答案，它只能憑機率硬猜。

最後是目前業內最關心的強化學習。Karpathy 不僅拆解了人類反饋強化學習（RLHF），還結合最近大火的 DeepSeek-R1 和當年的 AlphaGo，解釋了模型如何通過不斷試錯和獎勵機制實現熟能生巧。

為什麼重要

對於日常依賴 AI 的普通人、創作者或者做提示詞工程的開發者來說，這 3 個半小時非常值得花。

你不再需要去死記硬背各種 prompt 技巧，只要理解了「模型需要 token 思考」和分詞機制，你就會明白為什麼讓模型先輸出推理步驟能立竿見影地減少幻覺，為什麼有些拼寫和計數任務模型總是翻車。

在行業層面，Karpathy 這種頂級科學家的公開佈道，正在把頂級實驗室裡心照不宣的技術黑話，徹底變成行業公共知識。從 GPT-2 復現成本縮減到幾百美元，再到對 DeepSeek-R1 強化學習機制的拆解，都在打破頭部閉源廠商的神秘感。

我們認為 Karpathy 最厲害的地方，在於他用最樸素的直覺模型講透了極其複雜的工程。整場影片沒有任何故弄玄虛的數學推導，而是用大白話和白板草圖把整個技術棧攤開在陽光下。

唯一的門檻大概就是 211 分鐘的時長。但相比於在網上看碎片化、甚至互相矛盾的二手 AI 解讀，直接跟著一手締造過現代大模型的頂級專家完整走一遍，可能是目前理解 LLM 最紮實、價效比最高的一課。