안드레이 카파시 버클리 강연: GPT-4의 시작도 레딧 봇이었다

오늘날 생성형 AI 열풍이 마치 갑자기 하늘에서 떨어진 것처럼 보이지만, OpenAI 공동 창립자인 안드레이 카파시(Andrej Karpathy)의 생각은 다릅니다.

UC 버클리 AI 해커톤 2024 기조연설에 나선 그는 자신이 머신러닝 업계에 몸담아온 15년을 돌아보며 AI 생태계의 거대한 변화를 짚었습니다. 과거 AI는 소수의 학자들이 모여 손글씨 데이터셋을 두고 수식을 연구하던 조용한 학문이었지만, 이제 GPU를 만드는 엔비디아가 미국 증시 시가총액 1위를 다투는 세상이 되었습니다.

카파시는 현재의 상황을 1980년대 개인용 컴퓨터 혁명에 비유했습니다. 바이트 단위로 명령을 수행하던 CPU 대신 토큰을 처리하는 대형 언어 모델이 컴퓨터의 두뇌 역할을 하고, 컨텍스트 윈도우가 RAM 역할을 하는 새로운 패러다임, 즉 자신이 명명한 ‘LLM OS’의 시대가 열렸다는 설명입니다.

레딧 챗봇에서 출발해 1000억 달러 가치로

해커톤에서 주말 동안 만든 작은 토이 프로젝트를 어떻게 세상을 바꾸는 혁신으로 키울 수 있을까요? 카파시가 제시한 답은 바로 ‘스노우볼 효과’입니다.

7년 전 OpenAI는 공동 창립자 그렉의 아파트에 연구원 8명이 모여 시작했습니다. 당시 막대한 자금력과 연구 인력을 독점하던 구글에 맞서기 위해 다양한 내부 실험을 진행했지만, 대부분은 성과 없이 끝났습니다. 그중 하나가 바로 레딧 데이터를 학습시킨 단순한 챗봇이었습니다.

거대 테크 기업과 경쟁하겠다는 연구소가 레딧 챗봇을 만드는 모습은 당시로선 무모하거나 사소해 보였습니다. 하지만 그 본질은 언어 모델이었습니다. 이후 트랜스포머 아키텍처가 등장하고 웹 전체로 학습 데이터를 확장하면서, 이 작은 프로젝트는 GPT-1부터 GPT-4까지 진화하며 약 1000억 달러 기업가치의 기틀이 되었습니다.

카파시 개인의 궤적도 비슷합니다. 13년 전 취미로 올렸던 게임 프로그래밍 튜토리얼은 스탠퍼드 대학교의 딥러닝 강의 CS231N으로 이어졌고, 최근에는 바닥부터 스토리 생성 AI를 직접 구축해보는 GitHub 교육 프로젝트 LLM 101N으로 발전했습니다.

주말 프로젝트 뒤에 숨은 1만 시간의 내공

카파시는 말콤 글래드웰이 강조한 ‘1만 시간의 법칙’을 강하게 신뢰한다고 밝혔습니다.

최근 그가 주말 동안 영화 추천 사이트 awesomemovies.life를 만들어 배포하자 소셜 미디어에서는 엄청난 작업 속도에 감탄이 쏟아졌습니다. 하지만 카파시는 이미 유사한 시스템과 파이프라인을 20번 이상 반복해서 만들어봤기에 가능했던 재조합일 뿐이라고 설명합니다. 서버 세팅부터 텍스트 벡터화, 모델 학습까지 이미 손에 익은 숙련도가 있었기에 신속한 구현이 가능했던 셈입니다.

그는 AGI 기술이 물리 세계와 디지털 세계를 뒤덮는 미래에 대해 우려를 표하며, 기계가 전면에 드러나기보다는 인간과 자연의 삶 뒤로 조용히 녹아드는 기술을 만들어야 한다고 강조했습니다.

왜 중요한가

우리는 카파시의 이번 메시지가 기술적 과열 속에서 길을 잃기 쉬운 빌더들에게 매우 실질적인 균형점을 제공한다고 생각합니다.

개발자와 창업가 입장에서 가장 주목해야 할 점은 거창한 AGI 담론에 짓눌릴 필요가 없다는 사실입니다. 세상을 뒤흔든 GPT 모델 역시 보잘것없어 보이던 레딧 챗봇 실험에서 출발했습니다. 중요한 것은 화려한 기획서가 아니라, 비록 작고 투박하더라도 실제로 돌아가는 프로토타입을 만들고 시간을 들여 굴려보는 실행력입니다.

업계 전반으로 보아도 이번 발언은 생성형 AI 시대의 진짜 경쟁력이 무엇인지 일깨워줍니다. 누구나 AI 도구를 써서 주말 만에 그럴듯한 데모를 찍어낼 수 있는 시대가 되었지만, 결국 차별화된 가치를 만드는 것은 스택 전반을 깊이 이해하며 1만 시간을 갈고닦은 엔지니어링 내공입니다. LLM OS라는 새로운 컴퓨팅 환경 위에서 장기적으로 살아남는 프로덕트는 이러한 기초 체력 위에서 피어날 것으로 보입니다.