안드레이 카파시, GPT 토크나이저 밑바닥부터 만드는 2시간 강의 공개

지난주 OpenAI를 떠난 안드레이 카파시(Andrej Karpathy)가 커뮤니티의 기대에 발 빠르게 화답했습니다. 그는 2월 20일, GPT 토크나이저를 바닥부터 직접 구현하는 2시간 분량의 심층 튜토리얼 영상을 유튜브에 공개했습니다.

모델이 단순 계산에 취약한 진짜 이유

거대언어모델(LLM)이 문자열을 거꾸로 뒤집지 못하거나 간단한 산수에서 엉뚱한 답을 내놓을 때, 많은 이들이 모델의 추론 능력 탓으로 돌립니다. 하지만 카파시는 영상 후반부에서 토크나이저의 독특한 동작 특성을 짚으며, 이러한 문제의 근본 원인이 대부분 토크나이징에 있다고 설명합니다.

텍스트를 토큰 단위로 쪼개는 과정에서 숫자나 철자가 불규칙하게 분할되면 모델은 시작부터 왜곡된 입력을 받게 됩니다. 그는 실무적인 팁도 덧붙였는데, LLM에 데이터를 전달할 때 JSON보다 YAML 형식을 쓰는 편이 유리하다는 점입니다. 동일한 데이터라도 YAML로 표현하면 토큰 소모량을 눈에 띄게 줄일 수 있기 때문입니다.

왜 중요한가

LLM 기반 애플리케이션을 개발하거나 프롬프트를 작성하는 엔지니어라면 이 2시간짜리 강의는 시청할 가치가 충분합니다. 우리는 많은 이들이 모델 크기나 파인튜닝에만 집중한 채, 입구 역할을 하는 토크나이저를 간과하기 쉽다고 봅니다. 토큰 분할 원리를 이해하면 모델이 엉뚱한 실수를 저지르는 메커니즘을 파악할 수 있을 뿐 아니라, YAML 활용 팁처럼 API 비용과 컨텍스트 낭비를 줄이는 실질적인 엔지니어링 최적화가 가능해집니다.