Ricursive 開源 Ripple-65B：65B 純稠密模型跑贏多款幾千億 MoE 旗艦

現在大模型圈子裡幾乎人人都在聊 MoE（混合專家模型），動不動就堆出幾千億總引數，每次推理只啟用幾十億，圖的就是省算力、省視訊記憶體。

由前谷歌研究員創立的人工智慧實驗室 Ricursive Intelligence 偏要反著來。他們剛剛以 Apache 2.0 協議開源了 65B 純稠密模型 Ripple-65B Preview，不僅支援 100 萬上下文，而且在智慧體程式設計測試裡，正面掀翻了一眾體量大它十倍的巨無霸。

5 個人與 3200 萬美元的硬仗

Ripple-65B Preview 是 Ricursive 專為自家 AI 晶片設計平臺打造的核心模型，這次開源的是它的通用變體。

最讓人驚訝的是研發成本。前兩年業內常說訓練頂尖大模型要花數億甚至十億美元，而 Ricursive 團隊在研發過程中只從 1 個人擴張到 5 個人，從零搭建模型 ladder、搞資料配比、合成數據生成和後訓練，整個研發總花銷只用了 3200 萬美元。

全量模型在 12 萬億 token 上完成從頭預訓練，整個過程保持了 40% 的硬體模型算力利用率（MFU）。他們沒寫複雜的自定義核心，也沒走當時主流的極端量化，純粹用標準 BF16 和簡單的分片技術就把大任務啃了下來。

純稠密架構為何能逆襲千億 MoE

MoE 雖然理論上推理啟用引數少，但在分散式通訊、訓練穩定性和長上下文吞吐上帶來了極高的工程複雜度。

Ricursive 決定迴歸純稠密 Transformer，但採用了又窄又深的設計。Ripple-65B 擁有 80 層網路，隱藏層維度收斂到 5120，結構上參考了 Gemma 3N 的設計以保證大規模訓練的穩定性，同時引入了門控注意力、殘差值、FFN 啟用截斷以及全域性 NoPE。

後訓練階段他們沒有采買外部資料，而是靠自研的合成數據流水線和強化學習策略，只用了 140 萬次 rollout 就完成了陡峭的能力拉昇。這個呼叫規模比此前開源頂尖模型 Reflection Beam 少了近 70 倍。

在核心的智慧體程式設計評測 TerminalBench 2.1 上，Ripple-65B Preview 跑出了 80.52 分，拿下了美國開放權重模型的新紀錄。作為對比，501B 的 Reflection Beam 得分為 80.1，816B 的 Meta Muse Spark Open 為 76.4，975B 的 Thinking Machines Inkling 為 63.8，而輝達 550B 的 Nemotron 3 Ultra 只有 56.4 分。

模型除了提供標準 BF16 權重，還放出了 NVFP4 檢查點，開發者可以直接用消費級裝置或者單臺圖形工作站跑起來；在兩張 B200 GPU 上，它的推理生成速度能達到每秒 250 token。

為什麼重要

對於想要自建私有程式碼智慧體或本地部署程式設計助手的開發者和企業來說，Ripple-65B 提供了一個極其划算的新選擇。千億級別的 MoE 即使啟用引數少，把幾百 GB 甚至上 TB 的權重全部載入記憶體也需要多張昂貴的高階顯示卡。65B 的稠密體量不僅對視訊記憶體頻寬友好，配合 NVFP4 還能下放到工作站級別裝置，部署和運維門檻驟降。

對整個行業而言，這項成果狠狠敲了一記警鐘：模型能力的上限遠沒有被單純的引數堆砌所壟斷。很多實驗室為了刷榜盲目轉向龐大而鬆散的 MoE 架構，反而忽視了優質天然資料配比、高效合成過濾以及穩健稠密架構的潛力。

我們認為 Ricursive 的打法非常聰明，他們把精力花在精細的資料梯隊最佳化和軟硬體協同設計上，用 5 人的小團隊證明了小團隊在大模型底座依然有一戰之力。不過它的侷限也很明顯，純稠密模型在每次生成時必須全量啟用 650 億引數，在高併發的大規模雲端服務場景下，每 token 的計算成本依然會高於小啟用引數的 MoE。但至少在本地和高難度單任務場景裡，它給開源界交出了一份驚豔的答卷。