LM Studio 0.3.15 支援 CUDA 12.8：RTX 顯示卡推理吞吐最高提升 35%

如果你平時喜歡在本地電腦上跑大模型，肯定經歷過這種痛苦：模型載入半天，顯示卡風扇呼呼轉，吐字速度卻慢得像擠牙膏。

NVIDIA 宣佈聯合開源社群對本地模型執行神器 LM Studio 進行了底層升級。隨著 0.3.15 版本的釋出，這款軟體正式吃上了 CUDA 12.8，給 RTX 顯示卡打了一劑強心針。

壓榨顯示卡效能的兩把刷子

這次更新的核心，是 NVIDIA 直接下場幫 LM Studio 背後的 llama.cpp 做最佳化。

技術上主要有兩手硬活。第一手是支援了 CUDA Graph，簡單來說就是把一連串零散的 GPU 操作打包成一次 CPU 呼叫，大幅減少了 CPU 和顯示卡來回倒騰的開銷，直接讓模型吞吐量提升了最高 35%。

第二手是引入了 Flash Attention 的 CUDA 運算元。關注技術的朋友都知道，Transformer 架構處理長文本時特別吃注意力和視訊記憶體，有了這項最佳化後，吞吐量還能再漲最高 15%，不僅長上下文跑得更順，視訊記憶體壓力也沒跟著翻倍。

硬體覆蓋面也拉滿了。從早期的 GeForce RTX 20 系列，一直到最新的 Blackwell 架構 GPU，只要裝好相容驅動，LM Studio 就能自動切到 CUDA 12.8 執行時，從輕薄本到工作站都能享受到更快的載入速度和響應。

不只是跑得快，還更好用了

除了底層拉滿速度，LM Studio 0.3.15 還給開發者補上了幾個特別實用的功能。

首先是加入了 tool_choice 引數。以前在本地搭 Agent 或者跑 RAG 檢索的時候，模型到底調不呼叫外部工具全看它心情，現在開發者可以明確控制：是強制呼叫、徹底停用，還是讓模型自己看著辦。這讓構建自動化工作流的穩定性高了一大截。

另外，新版本重構了系統提示詞編輯器，寫超長、複雜的 System Prompt 不再憋屈。由於它自帶相容 OpenAI 格式的 API 介面，很多使用者其實是把它掛在後臺，給 VS Code 寫程式碼或者配合 Obsidian 的外掛在本地做個人知識庫問答，完全不用聯網，隱私也留在自己硬盤裡。

在支援的模型方面，LM Studio 目前相容 Gemma、Llama 3、Mistral 和 Orca 等主流開源模型，並且支援從 4-bit 量化到全精度的各種規格。

為什麼重要

本地跑 AI 到底有什麼用？對不想把商業機密或私人筆記傳上雲端的開發者和內容創作者來說，LM Studio 這類工具是目前的絕對首選。只要你手裡有一張稍微好點的 RTX 顯示卡，現在完全值得更新試試，至少在打字速度和長文件處理上會有肉眼可見的改善。

我們認為，NVIDIA 這次動作非常聰明。它沒有自己去重複造輪子搞一套封閉的客戶端，而是直接走到開源生態最前線，幫開源社群專案 llama.cpp 和明星工具 LM Studio 最佳化效能。這樣一來，開發者只要想在本地跑開源模型，最省心、最快的選擇依然只能是買 NVIDIA 的 RTX 顯示卡，無形中把硬體護城河拓寬了一大圈。

不過隱患也並非沒有。雖然有 Flash Attention 緩解壓力，但面對動輒數十億引數的開源模型，普通消費級顯示卡的視訊記憶體依然是物理瓶頸。加上手把手去勾選執行時、開啟顯層解除安裝等操作，看起來對非技術普通人來說，門檻依然稍微高了一點。