Karpathy氏が「nanochat」公開：8000行・100ドルでChatGPTをフルスクラッチ再現
元OpenAIのAndrej Karpathy氏はChatGPTクローンを一から構築できるフルスタック訓練パイプライン「nanochat」を公開した。約8000行の簡潔なコードで、トークナイザーから事前学習、SFT、強化学習、推論UIまでを網羅する。8基のH100を使えば約100ドル（約4時間）で会話可能な独自LLMを学習できる。
元OpenAIのAndrej Karpathy氏はChatGPTクローンを一から構築できるフルスタック訓練パイプライン「nanochat」を公開した。約8000行の簡潔なコードで、トークナイザーから事前学習、SFT、強化学習、推論UIまでを網羅する。8基のH100を使えば約100ドル（約4時間）で会話可能な独自LLMを学習できる。