Andrej Karpathy 釋出兩小時硬核教程：手把手帶你從零構建 GPT 分詞器

上週剛從 OpenAI 離職的 Andrej Karpathy，很快就兌現了社群的期待。2 月 20 日上午，他在 YouTube 釋出了一期長達兩小時的硬核影片，帶大家從零開始親手寫一個 GPT 分詞器（Tokenizer）。

模型變笨，往往是分詞器在搗鬼

很多人以為大模型做不好數學題，或者倒背不出單詞，是因為注意力機制或推理能力不夠。Karpathy 在影片後半段專門拆解了大模型分詞的各種古怪現象，指出很多毛病其實根子全在分詞上。

分詞器就像模型與人類語言之間的翻譯官。如果一個數字或單詞在切片時就被切得支離破碎，模型自然很難算明白加減法，也沒法順利翻轉字串。

影片裡還順手給了一個很實用的工程細節：為什麼給大模型喂結構化資料時，YAML 往往比 JSON 更好用。原因很簡單，同樣的資料用 YAML 格式呈現，分詞器切出來的 token 數量通常更少，既省錢又省上下文空間。

為什麼重要

如果你平時在做大模型開發、寫 Prompt，或者經常呼叫 API，我們認為這 2 個小時完全值得花。

業內很多時候把精力全砸在模型架構、預訓練和微調上，卻容易忽視最前置的分詞環節。搞懂分詞器的原理，不僅能讓你明白模型為什麼會犯低階錯誤，還能直接指導你在工程上用 YAML 換掉 JSON，把輸入成本降下來。頂級科學家親自把工業界底層細節掰開揉碎講明白，這種高質量的硬核教學在整個行業裡依然非常稀缺。