Karpathy氏が「nanochat」公開:8000行・100ドルでChatGPTをフルスクラッチ再現
元OpenAIのAndrej Karpathy氏はChatGPTクローンを一から構築できるフルスタック訓練パイプライン「nanochat」を公開した。約8000行の簡潔なコードで、トークナイザーから事前学習、SFT、強化学習、推論UIまでを網羅する。8基のH100を使えば約100ドル(約4時間)で会話可能な独自LLMを学習できる。
元OpenAIのAndrej Karpathy氏はChatGPTクローンを一から構築できるフルスタック訓練パイプライン「nanochat」を公開した。約8000行の簡潔なコードで、トークナイザーから事前学習、SFT、強化学習、推論UIまでを網羅する。8基のH100を使えば約100ドル(約4時間)で会話可能な独自LLMを学習できる。
著名なAI研究者のAndrej Karpathy氏が、AI教育スタートアップ「Eureka Labs」の立ち上げを発表した。人間の教師が設計したカリキュラムを専用のAI助教が個別支援する仕組みを構想しており、第1弾として学生が自らAIを訓練する講義「LLM101n」を提供する。