Karpathy氏が3時間半の解説動画を公開：LLMの訓練プロセスを完全網羅

大規模言語モデル（LLM）の仕組みを本気で理解しようとすると、多くの人は難解な論文や数式に阻まれてしまいます。

OpenAIの共同創業者であるAndrej Karpathy氏が、YouTubeに3時間31分に及ぶ長編解説動画「Deep Dive into LLMs like ChatGPT」を公開しました。

映画並みの長さですが、Karpathy氏はこれを技術的バックグラウンドを持たない一般読者向けに設計したと説明しています。手描きのダイアグラムを使いながら、ゼロから最新AIがどう作られるのかを解き明かしています。

訓練の全工程と「LLMの心理学」

動画では、モデルの開発プロセスを事前学習、指示チューニング（SFT）、強化学習の3つのフェーズに分けて解説しています。

事前学習のパートでは、インターネットの膨大なテキストをどう処理するかが語られます。12億以上のウェブページを含むFineWebのようなデータセットを徹底的にクリーニングし、BPE（バイト対エンコーディング）によってトークン化する流れを説明。例えばGPT-4は100,277種類のトークンを採用しています。

興味深いのはコストの劇的な低下です。2019年にOpenAIが16億パラメータのGPT-2を訓練した際は約4万ドルかかりましたが、Karpathy氏が開発したllm.cを使えば、わずか672ドルで再現できたといいます。最適化が進めば100ドル前後まで下がる見込みです。

続くSFTのパートでKarpathy氏は「LLMの心理学」という概念を提示します。なぜモデルがハルシネーション（幻覚）を起こすのか、なぜ文字数を数えるのが苦手なのかを解説。「モデルが思考するにはトークンを消費する必要がある」ため、推論ステップを踏ませずに即座に答えを出させようとすると破綻しやすい理由を明かしました。

最後の強化学習では、従来のRLHFだけでなく、世界的な注目を集めるDeepSeek-R1やAlphaGoを引き合いに出し、試行錯誤を通じてモデルが能力を開花させるメカニズムを解説しています。

なぜ重要か

プロンプトエンジニアリングや日常業務でAIを使っているユーザーにとって、この3時間半は視聴する価値が十分にあります。

小手先のプロンプトのテクニックを暗記する代わりに、「モデルが思考するためにトークンを欲しがっている」といった根本的な挙動を理解できれば、出力の質を上げる指示出しが自然とできるようになります。

業界全体にとっても、最前線の研究者がブラックボックス化しがちな最先端AIの訓練スタックを惜しみなく平易に公開した意義は大きいです。GPT-2の訓練コストが数百ドルまで落ちた事実やDeepSeek-R1の仕組みを分かりやすく共有することは、AI開発の参入障壁を引き下げることにつながります。

数式を使わずホワイトボードの図解だけで最高レベルの技術を噛み砕くKarpathy氏の解説力は流石というほかありません。時間はかかりますが、ネットに溢れる断片的な解説記事を何本も読むより、はるかに確かな理解が得られるコンテンツです。