Karpathy 開源 nanochat:8000 行程式碼、100 美元手搓一個 ChatGPT
Andrej Karpathy 開源專案 nanochat。它僅用約 8000 行程式碼,就打通從分詞、預訓練、SFT、強化學習到推理介面的全棧流程。在 8 張 H100 上花約 100 美元跑 4 小時,就能訓出一個能聊天的基礎模型。該專案還將作為其 LLM101n 課程的結業大作業。
Andrej Karpathy 開源專案 nanochat。它僅用約 8000 行程式碼,就打通從分詞、預訓練、SFT、強化學習到推理介面的全棧流程。在 8 張 H100 上花約 100 美元跑 4 小時,就能訓出一個能聊天的基礎模型。該專案還將作為其 LLM101n 課程的結業大作業。
知名 AI 學者 Andrej Karpathy 宣佈創辦教育公司 Eureka Labs,打造「AI 原生」的新型學校。其構想是由人類專家設計課程,輔以全天候、多語言的 AI 助教輔助教學;首發專案為本科級課程 LLM101n,指導學生從頭訓練專屬 AI。