Karpathy 开源 nanochat:8000 行代码、100 美元手搓一个 ChatGPT
Andrej Karpathy 开源项目 nanochat。它仅用约 8000 行代码,就打通从分词、预训练、SFT、强化学习到推理界面的全栈流程。在 8 张 H100 上花约 100 美元跑 4 小时,就能训出一个能聊天的基础模型。该项目还将作为其 LLM101n 课程的结业大作业。
Andrej Karpathy 开源项目 nanochat。它仅用约 8000 行代码,就打通从分词、预训练、SFT、强化学习到推理界面的全栈流程。在 8 张 H100 上花约 100 美元跑 4 小时,就能训出一个能聊天的基础模型。该项目还将作为其 LLM101n 课程的结业大作业。
知名 AI 学者 Andrej Karpathy 宣布创办教育公司 Eureka Labs,打造「AI 原生」的新型学校。其构想是由人类专家设计课程,辅以全天候、多语言的 AI 助教辅助教学;首发项目为本科级课程 LLM101n,指导学生从头训练专属 AI。