Inception Labs 釋出 Mercury Coder：首個擴散程式碼模型，每秒超 1000 token

如果你用過 Midjourney 或 Sora，大概很熟悉那個畫面：AI 並不是從畫面左上角一筆一筆畫到右下角，而是先潑上一團模糊的噪點，然後幾輪去噪，畫面瞬間變得清晰。

但到了大語言模型這邊，大家早就習慣了看游標一個詞一個詞往外蹦。這種「從左到右」逐字預測的自迴歸機制，統治了整個生成式 AI 時代，也成了推理速度的最大瓶頸。

斯坦福大學教授 Stefano Ermon 創立的 Inception Labs 決定換個思路。他們正式釋出了 Mercury Coder，號稱是首個商業級擴散語言模型（dLLM）。它把生成圖片的方法搬到了寫程式碼上，直接在輝達 H100 上跑出了每秒超過 1000 token 的速度。

像畫畫一樣寫程式碼

傳統的程式碼模型寫程式碼，就像打字機打字，前一個詞沒敲出來，後一個詞就根本沒法算。

Mercury Coder 採用的擴散機制完全不同。它一上來先生成一個包含整段程式碼雛形的粗糙序列，從純噪聲開始，然後通過幾個並行的細化步驟，由粗到細逐步去噪，最終打磨出完整的可用程式碼。

這種非順序生成方式不僅徹底放開了 GPU 的平行計算能力，還帶來了一種全新的容錯機制。模型在生成整體結構時就能兼顧上下文，中途修改和推理糾錯不需要像自迴歸那樣推倒重來。

Inception Labs 表示，這種架構直接讓推理速度提升了最高 10 倍，推理成本也大幅縮減。

普通 GPU 跑出專用晶片的速度

每秒 1000 token 是個什麼概念？過去想要在網頁上看到這種「字剛敲完程式碼就全出來」的瞬時響應，通常得依賴 Groq 或 Cerebras 這種價格高昂的專用推理晶片。

而 Mercury Coder 跑在通用的輝達 H100 上就達到了這個速度。在基準程式碼測試中，它的表現打平甚至超過了以速度見長的 GPT-4o Mini 和 Claude 3.5 Haiku，程式碼水平也與 Gemini 2.0 Flash-Lite 相當，而延遲只有後者的幾分之一。

知名 AI 研究員 Andrej Karpathy 在社交媒體上對此評論稱，文本和音訊一直偏向自迴歸，而影像和影片卻全面擁抱擴散模型，這在行業裡一直是個謎團。他認為 Mercury 走出的這一步，可能會讓大家看到文本生成全新維度的優缺點與特質。

目前使用者已經可以在其 Playground（chat.inceptionlabs.ai）直接上手體驗，右側邊欄還會即時預覽生成的互動介面。企業端則開放了 Mercury Coder Mini 和 Mercury Coder Small 的 API 與本地部署申請，針對客服與辦公自動化的對話模型也已進入內測。

為什麼重要

我們認為，Mercury Coder 最讓人興奮的地方，在於它打破了「文本生成必須死守自迴歸」的思維定勢。

對開發者和企業來說，它的價值非常直接。在程式碼即時補全、複雜指令碼生成或者自動化客服這類強依賴低延遲的場景裡，誰都不想盯著游標轉圈。如果企業能在現有輝達通用硬體上直接獲得 10 倍的吞吐量，省下的不僅是等待時間，更是真金白銀的算力賬單。

更深遠的影響在底層生態上。過去一年，為了榨乾自迴歸模型的推理速度，業界要麼瘋狂搞投機取樣，要麼花大價錢買專用推理卡。Mercury 證明了換一種架構，通用顯示卡就能在吞吐量上反超專用晶片，這無疑會倒逼其他大廠重新審視擴散架構在文本上的可能性。

不過，我們覺得現在還不能過早斷言它能全面替代傳統大模型。並行去噪在短程式碼和常規模式生成上效率驚人，但面對長程複雜邏輯推理、超長上下文依賴的工程場景時，擴散模型是否會出現隱蔽的邏輯斷層，還有待實際業務的大規模檢驗。但無論如何，這扇被關了很久的大門，終於被推開了一條縫。