Red Hat 宣佈收購 Neural Magic：押注開源推理引擎 vLLM

現在想把大模型搬進自家機房，最大的攔路虎往往不是模型本身，而是跑模型的成本太高。

算力貴、顯示卡缺，動輒幾十上百億引數的模型一跑起來，電費和硬體賬單就能把中小團隊勸退。面對這個問題，開源老牌巨頭 Red Hat 選了一條最直接的路徑：把做加速最厲害的團隊買下來。

Red Hat 宣佈簽署確定性協議，收購 AI 推理軟體與演算法公司 Neural Magic。這筆交易目前還要等監管批准，具體金額沒有披露。

把 MIT 走出來的加速老手收入囊中

Neural Magic 是 2018 年從 MIT 獨立出來的公司，核心班底專攻深度學習的推理效能工程。

在大模型圈子裡，只要自己部署過開源模型，大機率都用過或者聽過 vLLM。這個由加州大學伯克利分校發起的開源專案，幾乎成了現在高併發模型服務的標配引擎。

而 Neural Magic 正是 vLLM 開源生態裡的核心技術領導力量。他們不僅給社群貢獻程式碼，還做了一個叫 LLM Compressor 的開源庫，專門用稀疏化和量化演算法幫模型瘦身，順便維護著一整套開箱即用的預最佳化模型。

更關鍵的是硬體相容性。vLLM 不挑食，除了通用的輝達 GPU，還能跑在 AMD GPU、AWS Neuron、Google TPU、Intel Gaudi 以及常規 x86 CPU 上。

對 Red Hat 來說，這正好補齊了拼圖最缺的一角。

拼齊企業級 AI 堆疊

Red Hat 這兩年的 AI 動作其實很密集。他們聯手 IBM 搞了開源的 Granite 模型家族，推出了做模型協同微調的 InstructLab，還有基於 Linux 的 RHEL AI 以及面向混合雲的 Red Hat OpenShift AI。

但這套體系要想在企業客戶那裡落地，必須解決最後一公里：推理到底跑得夠不夠快、省不省算力。

把 Neural Magic 的推理堆疊直接接進 OpenShift AI 和 RHEL AI，企業客戶就能在本地機房、公有云或者邊緣裝置上，用更低成本排程從 1B 到 405B 引數規模的開源模型。

Red Hat 執行長 Matt Hicks 說得很直白，他們不僅想做開源作業系統界的 Red Hat，還想成為 AI 時代的 Red Hat。

為什麼重要

對於想要私有化部署 AI 的企業和開發者來說，這樁收購是個實在的利好。

以前企業想要自己的資料不出內網，自己搭 vLLM 往往需要懂底層硬體調優的專業工程師。等這套技術整合進 Red Hat 的企業級發行版後，企業客戶不用自己去啃底層的量化與運算元最佳化，也能在更雜的異構硬體上把模型跑順。

在行業層面，這看起來是開源陣營對閉源 API 壟斷的一次抱團反擊。OpenAI 和 Anthropic 靠著雲端 API 賺得盆滿缽滿，但很多金融、政企客戶因為合規和資料隱私，根本不可能把敏感資料傳到公有云上。

Red Hat 和 IBM 這套打法的聰明之處在於，他們不打算自己卷閉源大模型，而是把「開源模型加高效推理底座」做成標準化的基礎設施。只要企業對混合雲和私有化還有需求，這個收費模式就跑得通。

不過隱患也不是沒有。vLLM 能夠迅速風靡，很大程度是因為極其開放的中立社群氛圍。被商業巨頭收購後，Neural Magic 還能否讓社群保持以往的活力、對不同硬體廠商是否還能一碗水端平，我們認為還需要打個問號。