跳到正文
IFAI

AI工具

LM Studio 0.4.0 发布:支持无 GUI 部署与连续批处理

首次发布 传播指数 42

LM Studio 发布 0.4.0 版,将核心引擎拆分为脱离界面的后台守护进程 llmster,可直接部署在云服务器或 CI 环境中。新版还为 llama.cpp 引入连续批处理以支持多请求并发,并上线支持本地 MCP 的有状态 REST API。

LM Studio 0.4.0 发布:支持无 GUI 部署与连续批处理
图:lmstudio.ai

很多人用 LM Studio,图的就是那个好看又好上手的桌面图形界面。但如果你想把模型扔进机房服务器、跑在 CI 自动化流水线里,或者在终端里敲命令行,原本那个拖家带口的窗口反而成了累赘。

LM Studio 正式推出 0.4.0 版本。这次更新直接对底层架构动了手术,将 GUI 与核心功能彻底解耦,推出了名为 llmster 的独立守护进程,并且引入了连续批处理支持。

剥离界面的 llmster,能跑在任何地方

新版本最底层的变化是 llmster。官方把它定位成 server-native 的核心程序,完全脱离了对桌面 GUI 的依赖。

这意味着你可以把 llmster 直接塞进没有显示器的 Linux 机器、云服务器、独立的 GPU 矿机甚至 Google Colab 中。在本地偏好终端工作流的人,也不必再为看一个模型打开整个桌面客户端。

安装也很直接,官方提供了 Linux、Mac 和 Windows 的一键脚本。装好后,通过 `lms daemon up` 就能拉起守护进程,配合 `lms get` 下载模型、`lms chat` 开启终端交互,或者用 `lms server start` 直接启动服务。

除了守护进程,客户端的底层 llama.cpp 引擎也升级到了 2.0.0。随之而来的是对单模型并行推理的支持,背后采用的是 llama.cpp 开源的连续批处理实现。

以前发多个请求只能在队列里老老实实排队,现在模型可以同时处理最多 N 个并发,默认并发槽位设为 4。为了避免并发导致显存吃紧,LM Studio 默认开启了 Unified KV Cache,不会给每个请求生硬切分固定的显存块。目前这项并发特性仅在 llama.cpp 引擎可用,官方称 MLX 引擎的支持正在开发中。

客户端翻新:分屏、导出与有状态 API

桌面客户端本身也有不少改动。界面换上了全新的设计,现在可以在聊天窗口点击 Split View 开启分屏,左右对比两个不同会话,甚至并排拖拽标签页。

聊天的记录终于可以一键导出了,目前支持导出为 PDF、Markdown 或纯文本。设置里还新增了开发者模式,把之前的多档开关整合到一起,开启后会暴露出详细的模型加载参数和侧边栏设置。

另一个关键更新是全新的 REST 端点 `/v1/chat`。和传统的无状态接口不同,这个端点是有状态的,调用后会返回 `response_id`,下一次请求只需带上 `previous_response_id` 就能继续对话,不用每次都把几千字的历史记录全量回传。

这个接口还支持本地配置的 MCP 服务,并提供了权限密钥系统来控制访问安全,响应中还会直接返回首字延迟、生成速度和 Token 统计等数据。

为什么重要

本地大模型工具过去的分工非常明确。Ollama 霸占着终端和轻量部署,而 LM Studio 负责做最好用的桌面客户端。这次 0.4.0 的发布,说明 LM Studio 不想只当一个好看的玩具了。

我们认为,llmster 和有状态 API 的出现,补齐了它在生产环境中的短板。对于开发者和企业内网来说,你现在可以用一套技术栈搞定两件事:开发时在本地开着漂亮的界面调试,部署时直接把 llmster 丢上 Linux 服务器当后端服务用。连续批处理更是直接解决了多人共享一台本地 GPU 时的排队卡顿问题。

对于个人用户,分屏对比和聊天导出是早就该有的刚需,现在值得立刻升级体验。不过需要注意的是,如果你重度依赖苹果芯片的 MLX 引擎,并发处理目前还没跟上,仍然需要等待官方后续的跟进更新。

来源 (1)

  1. [1]
    lmstudio.ai(在新标签页打开)原文lmstudio.ai

每日 AI 内容精选