Karpathy 伯克利駭客松演講：GPT-4 最早只是個 Reddit 機器人

很多人總覺得今天的生成式 AI 狂潮是一夜之間爆發的，但聽完 Andrej Karpathy 在加州大學伯克利分校 AI 駭客馬拉松上的復盤，你會發現真正的質變往往藏在最不起眼的角落。

作為 OpenAI 創始成員，Karpathy 已經在人工智慧圈子摸爬滾打了 15 年。他在臺上感慨，15 年前整個領域不過是幾百名學者關起門來推導數學公式、在 MNIST 資料集上折騰小數字。而今天，造 GPU 的 NVIDIA 已經坐上美股市值第一的交椅，計算的底層範式正在徹底重寫。

在 Karpathy 看來，我們正在經歷類似 1980 年代個人電腦剛剛誕生的時刻。中央處理器不再只是對位元組執行指令的 CPU，而是處理 Token 的大語言模型；記憶體變成了上下文視窗。這種被稱為「LLM OS」的新電腦，才剛剛向全人類露出冰山一角。

從 Reddit 機器人到千億帝國

駭客馬拉松上的選手兩天就能搭出各種好玩的原型，但怎麼把小玩具變成改變世界的產品？Karpathy 給出的核心認知是「滾雪球效應」。

七年前，OpenAI 只有八個人擠在聯合創始人 Greg 的公寓裡。當時他們的目標是對標擁有 700 億美元自由現金流的 Google，而團隊內部探索的大多數專案都沒有下文。其中有個小專案，只是在用 Reddit 資料訓練一個極其初級的聊天機器人。

當時在外人看來，放著宏大目標不做跑去寫 Reddit 機器人簡直不可理喻。但那個簡陋的原型本質上就是一個語言模型，等到 Transformer 架構出現，訓練語料從 Reddit 擴充套件到全網，它最終一路演進成了 GPT-1、GPT-2 直至 GPT-4。一個小小的雪球，最終滾成了估值逼近 1000 億美元的超級巨頭。

這種積累在他個人身上同樣適用。他從 13 年前錄製遊戲程式設計影片起步，一步步走到在斯坦福主講深度學習課程 CS231N，再到如今在 GitHub 上啟動 LLM 101N 課程，目標是帶大家從零手寫一個故事生成器。每一個看似微不足道的開端，都在為下一個質變鋪路。

所謂週末神作，不過是一萬小時的重組

Karpathy 非常推崇作家馬爾科姆·格拉德威爾的「一萬小時定律」。在他看來，世上少有從天而降的天才之舉，更多是海量時間的兌現。

不久前他花了一個週末寫出電影推薦網站 awesomemovies.life，推特上一堆人驚呼他是程式設計快槍手。Karpathy 自己卻很清醒：大家只看到他兩天完工，沒看到這已經是他第二十次寫類似系統。

從配置 Linode 主機、搭建 Flask 伺服器，到手寫前端、提取 tf.idf 向量並訓練支援向量機，每一步程式碼他都在過去的十幾年裡反覆踩過坑。所謂的高效爆發，不過是對自己程式碼庫和肌肉記憶的重新拼裝。

對於通用人工智慧可能帶來的冰冷自動化，他坦言有些沮喪。他更期待看到技術退居幕後、人類與自然和諧相處的技術形態，而這恰恰取決於正在入場的年輕一代如何選擇。

為什麼重要

我們認為，Karpathy 這番話給當前浮躁的 AI 創業潮澆了一盆清醒的冷水。

對開發者和獨立創造者來說，最有價值的建議是不要在立項第一天就執著於所謂宏大敘事。現在的環境充斥著對 AGI 的宏大宣傳，但真正能長成參天大樹的應用，最初往往只是解決某個極度具體、甚至看似粗糙的小玩具。只要底層的邏輯經得起迭代，堅持投入時間去堆砌基本功，小雪球就有機會藉著計算範式更迭的東風滾大。

對整個 AI 行業而言，Karpathy 指出了下一階段分化的關鍵。當模型基礎能力被大廠逐步拉平，最終拼的不是誰更會寫華麗的商業計劃書，而是誰能將「一萬小時」的工程肌肉記憶與「LLM OS」的互動設計深度咬合。他展示的不僅是樂觀的技術前景，更是提醒所有人：技術的狂飆不等於個人能力的躍升，紮紮實實的程式碼與工程積累永遠無法被一鍵跳過。