Karpathy 开源 nanochat:8000 行代码、100 美元手搓一个 ChatGPT
Andrej Karpathy 开源项目 nanochat。它仅用约 8000 行代码,就打通从分词、预训练、SFT、强化学习到推理界面的全栈流程。在 8 张 H100 上花约 100 美元跑 4 小时,就能训出一个能聊天的基础模型。该项目还将作为其 LLM101n 课程的结业大作业。
Andrej Karpathy 开源项目 nanochat。它仅用约 8000 行代码,就打通从分词、预训练、SFT、强化学习到推理界面的全栈流程。在 8 张 H100 上花约 100 美元跑 4 小时,就能训出一个能聊天的基础模型。该项目还将作为其 LLM101n 课程的结业大作业。