元OpenAIのカルパシー氏、GPTトークナイザーの作り方を解説する2時間講義を公開

先週 OpenAI を退社したばかりの Andrej Karpathy 氏が、早くもコミュニティの期待に応えました。2 月 20 日、同氏は YouTube に 2 時間に及ぶ詳細な解説動画を公開し、GPT のトークナイザーを一から自作する手順を解説しました。

LLM の弱点はトークナイザーにあり

LLM が単純な算数で混乱したり、文字列を逆順に並び替えられなかったりするのは、モデルの知能ではなくトークナイザーの仕様に原因があることが少なくありません。Karpathy 氏は動画の終盤で、トークン化が引き起こす奇妙な挙動の数々を詳しく紐解いています。

トークナイザーは人間が使う言葉をモデルが理解できる塊へと切り分ける役割を担っていますが、この区切り方が原因で記号や数字が不自然に分断され、計算ミスなどの弱点につながります。また、同氏は実用的なヒントとして、LLM にデータを渡す際には JSON よりも YAML のほうが適している場合が多いと指摘しました。同じデータでも YAML のほうが消費するトークン数を少なく抑えられるためです。

なぜ重要か

プロンプト作成や API 連携に携わる開発者にとって、この 2 時間の動画は今すぐ視聴する価値があります。私たちは、モデルのパラメータ規模やファインチューニングばかりが注目されがちですが、入り口となるトークナイザーの理解こそが不可欠だと考えています。トークン化の癖を把握することで、モデルがなぜ奇妙なミスをするのかを根本から理解できるだけでなく、データ形式を工夫してコストやコンテキスト制限を節約する実用的な知見が得られます。