カルパシー氏がバークレーで登壇：GPT-4の原点はRedditボットだった

現在の生成AIブームは一朝一夕で起きたように見えますが、OpenAIの共同創業者であるAndrej Karpathy氏の見解は少し異なります。

カリフォルニア大学バークレー校で開催されたAIハッカソン2024の基調講演で、同氏は自身が歩んできた15年間の研究生活を振り返りました。かつてAIといえば、数百人の研究者がMNISTの手書き数字データを使い、数式を議論する地味な領域でした。それが今や、GPUを手がけるNVIDIAが米国市場で時価総額トップに立つ時代へと変貌を遂げています。

Karpathy氏によれば、私たちは1980年代のパーソナルコンピュータ黎明期に匹敵する計算パラダイムの転換点にいます。バイト単位で命令をこなす従来のCPUに代わり、トークンを処理する大規模言語モデルが中枢を担い、コンテキストウィンドウがメインメモリとして機能する。これこそが同氏の提唱する「LLM OS」の構想です。

Redditボットから始まった巨大モデル

ハッカソンの熱気あふれる会場で同氏が強調したのは、小さな試行錯誤が巨大な成果へと膨らむ「雪だるま効果」の重要性でした。

7年前のOpenAIは、Greg Brockman氏のアパートに集まったわずか8人の研究者でスタートしました。潤沢な資金を持つGoogleに対抗すべく立ち上がったものの、社内で行われた多くの試みは失敗に終わっています。その中に、Redditの投稿データで学習させた素朴なチャットボットがありました。

Googleと競い合う組織が掲げる開発としてはあまりに脆弱に見えましたが、その本質は言語モデルそのものでした。Transformerの登場と学習データの拡大を経て、その小さな雪だるまはGPT-1からGPT-4へと成長し、現在の約1000億ドル規模の企業価値へとつながっていきました。

Karpathy氏自身のキャリアも同様です。13年前に始めたゲームプログラミングの解説動画が、スタンフォード大学での講義CS231Nや自身のチュートリアルへと発展し、直近ではGitHub上でストーリー生成AIを一から作る新プロジェクトLLM 101Nへと結実しています。

週末開発の裏にある1万時間の蓄積

また、同氏はマルコム・グラッドウェルが提唱した「1万時間の法則」への強い支持を示しました。

以前、週末だけで映画推薦サイト awesomemovies.life を立ち上げた際、周囲からはその開発速度に驚きの声が上がりました。しかしKarpathy氏自身は、過去に似たようなウェブサービスや機械学習パイプラインを20回以上構築してきたからこそできた再構成にすぎないと語ります。

AGIがもたらす未来の自動化について、同氏はロボットが過剰に前面へ出る世界には違和感を示し、技術が背後に隠れ、自然や人間と調和する設計を目指すべきだと会場の若い開発者たちに呼びかけました。

なぜ重要か

私たちは、Karpathy氏の指摘が過熱する生成AI業界に対する的確な指針を示していると考えます。

開発者やスタートアップにとって、最初から壮大なAGIの絵を描く必要がないという点は大きな励みになります。GPTシリーズの原点が掲示板のボットであったように、最初の一歩は粗削りなプロトタイプで構いません。重要なのは、実際に動作する小さな雪だるまを転がし始め、反復を止めないことです。

業界全体にとっても、週末にツールを使って見栄えの良いデモを作るスピードと、真のエンジニアリング能力の違いを浮き彫りにしています。LLMをCPUに見立てる新しい計算環境が広がる中で、本質的な競争優位を生むのは、やはり地道に1万時間の経験を積んだ開発者の基礎体力です。道具がどれほど進化しても、地道な試行の積み重ねこそが次世代の巨大プラットフォームを形作っていくはずです。