LM Studio 0.3.15 支持 CUDA 12.8：RTX 显卡推理吞吐最高提升 35%

如果你平时喜欢在本地电脑上跑大模型，肯定经历过这种痛苦：模型加载半天，显卡风扇呼呼转，吐字速度却慢得像挤牙膏。

NVIDIA 宣布联合开源社区对本地模型运行神器 LM Studio 进行了底层升级。随着 0.3.15 版本的发布，这款软件正式吃上了 CUDA 12.8，给 RTX 显卡打了一剂强心针。

压榨显卡性能的两把刷子

这次更新的核心，是 NVIDIA 直接下场帮 LM Studio 背后的 llama.cpp 做优化。

技术上主要有两手硬活。第一手是支持了 CUDA Graph，简单来说就是把一连串零散的 GPU 操作打包成一次 CPU 调用，大幅减少了 CPU 和显卡来回倒腾的开销，直接让模型吞吐量提升了最高 35%。

第二手是引入了 Flash Attention 的 CUDA 算子。关注技术的朋友都知道，Transformer 架构处理长文本时特别吃注意力和显存，有了这项优化后，吞吐量还能再涨最高 15%，不仅长上下文跑得更顺，显存压力也没跟着翻倍。

硬件覆盖面也拉满了。从早期的 GeForce RTX 20 系列，一直到最新的 Blackwell 架构 GPU，只要装好兼容驱动，LM Studio 就能自动切到 CUDA 12.8 运行时，从轻薄本到工作站都能享受到更快的加载速度和响应。

不只是跑得快，还更好用了

除了底层拉满速度，LM Studio 0.3.15 还给开发者补上了几个特别实用的功能。

首先是加入了 tool_choice 参数。以前在本地搭 Agent 或者跑 RAG 检索的时候，模型到底调不调用外部工具全看它心情，现在开发者可以明确控制：是强制调用、彻底禁用，还是让模型自己看着办。这让构建自动化工作流的稳定性高了一大截。

另外，新版本重构了系统提示词编辑器，写超长、复杂的 System Prompt 不再憋屈。由于它自带兼容 OpenAI 格式的 API 接口，很多用户其实是把它挂在后台，给 VS Code 写代码或者配合 Obsidian 的插件在本地做个人知识库问答，完全不用联网，隐私也留在自己硬盘里。

在支持的模型方面，LM Studio 目前兼容 Gemma、Llama 3、Mistral 和 Orca 等主流开源模型，并且支持从 4-bit 量化到全精度的各种规格。

为什么重要

本地跑 AI 到底有什么用？对不想把商业机密或私人笔记传上云端的开发者和内容创作者来说，LM Studio 这类工具是目前的绝对首选。只要你手里有一张稍微好点的 RTX 显卡，现在完全值得更新试试，至少在打字速度和长文档处理上会有肉眼可见的改善。

我们认为，NVIDIA 这次动作非常聪明。它没有自己去重复造轮子搞一套封闭的客户端，而是直接走到开源生态最前线，帮开源社区项目 llama.cpp 和明星工具 LM Studio 优化性能。这样一来，开发者只要想在本地跑开源模型，最省心、最快的选择依然只能是买 NVIDIA 的 RTX 显卡，无形中把硬件护城河拓宽了一大圈。

不过隐患也并非没有。虽然有 Flash Attention 缓解压力，但面对动辄数十亿参数的开源模型，普通消费级显卡的显存依然是物理瓶颈。加上手把手去勾选运行时、开启显层卸载等操作，看起来对非技术普通人来说，门槛依然稍微高了一点。