Nvidia 推出免費工具 PAIR:串聯閒置電腦,在家搭分散式 AI 算力網
Nvidia 推出免費開源工具 PAIR,能自動發現區域網內的閒置電腦並協同執行本地 AI 推理。它支援 RTX 20 系列及以上顯示卡、DGX Spark 以及蘋果 M4 晶片,裝置一旦玩遊戲會自動退讓算力。該工具提供 Windows、Linux 和 macOS 測試版。
Nvidia 推出免費開源工具 PAIR,能自動發現區域網內的閒置電腦並協同執行本地 AI 推理。它支援 RTX 20 系列及以上顯示卡、DGX Spark 以及蘋果 M4 晶片,裝置一旦玩遊戲會自動退讓算力。該工具提供 Windows、Linux 和 macOS 測試版。
LM Studio 釋出 0.4.0 版,將核心引擎拆分為脫離介面的後臺守護程序 llmster,可直接部署在雲伺服器或 CI 環境中。新版還為 llama.cpp 引入連續批處理以支援多請求併發,並上線支援本地 MCP 的有狀態 REST API。
LM Studio 釋出 0.3.15 版本,正式接入 CUDA 12.8 並最佳化 RTX 顯示卡推理。更新引入 CUDA graph 與 Flash Attention 技術,使本地模型吞吐量最高提升 35%,支援從 RTX 20 系列到 Blackwell 架構顯示卡。新版還加入了 tool_choice 引數,方便本地部署智慧體與 RAG 工作流。