跳到正文
IFAI

AI工具

LM Studio 0.4.0 釋出:支援無 GUI 部署與連續批處理

首次發布 傳播指數 42

LM Studio 釋出 0.4.0 版,將核心引擎拆分為脫離介面的後臺守護程序 llmster,可直接部署在雲伺服器或 CI 環境中。新版還為 llama.cpp 引入連續批處理以支援多請求併發,並上線支援本地 MCP 的有狀態 REST API。

LM Studio 0.4.0 釋出:支援無 GUI 部署與連續批處理
圖:lmstudio.ai

很多人用 LM Studio,圖的就是那個好看又好上手的桌面圖形介面。但如果你想把模型扔進機房伺服器、跑在 CI 自動化流水線裡,或者在終端裡敲命令列,原本那個拖家帶口的視窗反而成了累贅。

LM Studio 正式推出 0.4.0 版本。這次更新直接對底層架構動了手術,將 GUI 與核心功能徹底解耦,推出了名為 llmster 的獨立守護程序,並且引入了連續批處理支援。

剝離介面的 llmster,能跑在任何地方

新版本最底層的變化是 llmster。官方把它定位成 server-native 的核心程式,完全脫離了對桌面 GUI 的依賴。

這意味著你可以把 llmster 直接塞進沒有顯示器的 Linux 機器、雲伺服器、獨立的 GPU 礦機甚至 Google Colab 中。在本地偏好終端工作流的人,也不必再為看一個模型開啟整個桌面客戶端。

安裝也很直接,官方提供了 Linux、Mac 和 Windows 的一鍵指令碼。裝好後,通過 `lms daemon up` 就能拉起守護程序,配合 `lms get` 下載模型、`lms chat` 開啟終端互動,或者用 `lms server start` 直接啟動服務。

除了守護程序,客戶端的底層 llama.cpp 引擎也升級到了 2.0.0。隨之而來的是對單模型並行推理的支援,背後採用的是 llama.cpp 開源的連續批處理實現。

以前發多個請求只能在佇列里老老實實排隊,現在模型可以同時處理最多 N 個併發,預設併發槽位設為 4。為了避免併發導致視訊記憶體吃緊,LM Studio 預設開啟了 Unified KV Cache,不會給每個請求生硬切分固定的視訊記憶體塊。目前這項併發特性僅在 llama.cpp 引擎可用,官方稱 MLX 引擎的支援正在開發中。

客戶端翻新:分屏、匯出與有狀態 API

桌面客戶端本身也有不少改動。介面換上了全新的設計,現在可以在聊天視窗點選 Split View 開啟分屏,左右對比兩個不同會話,甚至並排拖拽標籤頁。

聊天的記錄終於可以一鍵匯出了,目前支援匯出為 PDF、Markdown 或純文本。設定裡還新增了開發者模式,把之前的多檔開關整合到一起,開啟後會暴露出詳細的模型載入引數和側邊欄設定。

另一個關鍵更新是全新的 REST 端點 `/v1/chat`。和傳統的無狀態介面不同,這個端點是有狀態的,呼叫後會返回 `response_id`,下一次請求只需帶上 `previous_response_id` 就能繼續對話,不用每次都把幾千字的歷史記錄全量回傳。

這個介面還支援本地配置的 MCP 服務,並提供了許可權金鑰系統來控制訪問安全,響應中還會直接返回首字延遲、生成速度和 Token 統計等資料。

為什麼重要

本地大模型工具過去的分工非常明確。Ollama 霸佔著終端和輕量部署,而 LM Studio 負責做最好用的桌面客戶端。這次 0.4.0 的釋出,說明 LM Studio 不想只當一個好看的玩具了。

我們認為,llmster 和有狀態 API 的出現,補齊了它在生產環境中的短板。對於開發者和企業內網來說,你現在可以用一套技術棧搞定兩件事:開發時在本地開著漂亮的介面除錯,部署時直接把 llmster 丟上 Linux 伺服器當後端服務用。連續批處理更是直接解決了多人共享一臺本地 GPU 時的排隊卡頓問題。

對於個人使用者,分屏對比和聊天匯出是早就該有的剛需,現在值得立刻升級體驗。不過需要注意的是,如果你重度依賴蘋果晶片的 MLX 引擎,併發處理目前還沒跟上,仍然需要等待官方後續的跟進更新。

來源 (1)

  1. [1]
    lmstudio.ai(在新分頁開啟)原文lmstudio.ai

每日 AI 內容精選