Strata 開源本地推理引擎：12GB 視訊記憶體就能跑千億引數模型

Strata 是一個開源的本地大模型推理引擎，最大的用處是讓你用一張 12GB 視訊記憶體的普通消費級顯示卡，就能直接在本地電腦上跑動千億引數級別的大模型。

專案採用 MIT 許可證完全開源，提供 Windows、Linux 和 macOS 安裝包，不需要註冊任何賬號，點開就能用。

它是怎麼做到的

千億引數模型以往往往需要昂貴的專業計算卡或者多卡互聯，12GB 視訊記憶體通常只能跑幾十億到百億引數的小模型。

Strata 採用了一套視訊記憶體、記憶體與固態硬碟協同分層的執行機制。

針對混合專家架構模型，它把呼叫最頻繁的專家網路常駐在顯示卡視訊記憶體裡，全量模型放置在系統記憶體，當記憶體裝不下時則直接由高速固態硬碟即時讀取。

顯示卡、記憶體與硬碟協同推進模型推理與投機取樣，把單張消費級顯示卡的視訊記憶體上限給繞了過去。

支援哪些模型與硬體規格

目前 Strata 重點支援 125B 引數的 Qwen3.8-Flash-Next，以及 Qwen3.6-35B-A3B 和 DeepSeekV4.1-Flash-1017。

執行 Qwen3.8-Flash-Next 全版本模型，推薦搭配 12GB 視訊記憶體加上 64GB 記憶體；如果是 32GB 記憶體的機器，也可以選擇專門的 Coder 程式碼版本。

如果要執行 DeepSeekV4.1-Flash-1017，模型放不下的部分會借用固態硬碟，因此需要較大的空閒磁碟空間。按量化精度不同，1.75 bpw 需要大約 245GB 空間，2.00 bpw 約需 265GB，2.25 bpw 約需 280GB。

硬體支援覆蓋非常廣。顯示卡支援輝達 RTX 20、30、40 和 50 全系列，AMD Radeon RX 7000、9000 系列與 AI PRO R9700，Linux 下支援 Intel Arc，Mac 陣營則支援 64GB 記憶體以上的 Apple Silicon 裝置。

生成速度方面，根據官方實測，在 2.00 bpw 的 DeepSeek 模型下，RTX 3060 搭配 46GB 記憶體能跑出每秒 9 到 11 個 token，RTX 5070 搭配 64GB 記憶體約為每秒 4 到 6 個 token。AMD Ryzen AI Max 平臺能達到每秒 19 到 21 個 token，多卡專業工作站甚至能超過每秒 70 個 token。

怎麼用與接入工具

Strata 提供了圖形桌面應用和命令列工具。Windows、Linux 和 Mac 都有對應的單檔案安裝包，首次開啟會自動匹配下載適合當前顯示卡的推理引擎。

喜歡終端操作的使用者，在終端裡直接執行 strata launch，按照提示就能選擇下載並啟動模型。

更實用的是它內建了相容 OpenAI 與 Anthropic 的本地 API 介面。啟動後通過 strata connect 就能把本地模型對接到 Claude Code、Codex CLI、OpenCode、Hermes Agent 等主流程式設計與智慧體工具中。

為什麼重要

如果你是一名注重資料隱私的獨立開發者，或者平時有大量重複的日常程式設計與自動化任務，不想每月為雲端模型支付高昂費用，Strata 非常值得現在就裝上試一試。

和傳統依靠量化硬塞進視訊記憶體的工具相比，Strata 的分層排程思路更聰明，讓消費級硬體不再只是玩具模型的專屬運行臺。當然，它的物理瓶頸依然存在，受限於記憶體與硬碟通道速度，生成速率不能和雲端叢集相比，但在日常輔助程式設計和後臺智慧體任務中，這個速度已經足夠派上用場。