Strata 开源本地推理引擎：12GB 显存就能跑千亿参数模型

Strata 是一个开源的本地大模型推理引擎，最大的用处是让你用一张 12GB 显存的普通消费级显卡，就能直接在本地电脑上跑动千亿参数级别的大模型。

项目采用 MIT 许可证完全开源，提供 Windows、Linux 和 macOS 安装包，不需要注册任何账号，点开就能用。

它是怎么做到的

千亿参数模型以往往往需要昂贵的专业计算卡或者多卡互联，12GB 显存通常只能跑几十亿到百亿参数的小模型。

Strata 采用了一套显存、内存与固态硬盘协同分层的执行机制。

针对混合专家架构模型，它把调用最频繁的专家网络常驻在显卡显存里，全量模型放置在系统内存，当内存装不下时则直接由高速固态硬盘实时读取。

显卡、内存与硬盘协同推进模型推理与投机采样，把单张消费级显卡的显存上限给绕了过去。

支持哪些模型与硬件规格

目前 Strata 重点支持 125B 参数的 Qwen3.8-Flash-Next，以及 Qwen3.6-35B-A3B 和 DeepSeekV4.1-Flash-1017。

运行 Qwen3.8-Flash-Next 全版本模型，推荐搭配 12GB 显存加上 64GB 内存；如果是 32GB 内存的机器，也可以选择专门的 Coder 代码版本。

如果要运行 DeepSeekV4.1-Flash-1017，模型放不下的部分会借用固态硬盘，因此需要较大的空闲磁盘空间。按量化精度不同，1.75 bpw 需要大约 245GB 空间，2.00 bpw 约需 265GB，2.25 bpw 约需 280GB。

硬件支持覆盖非常广。显卡支持英伟达 RTX 20、30、40 和 50 全系列，AMD Radeon RX 7000、9000 系列与 AI PRO R9700，Linux 下支持 Intel Arc，Mac 阵营则支持 64GB 内存以上的 Apple Silicon 设备。

生成速度方面，根据官方实测，在 2.00 bpw 的 DeepSeek 模型下，RTX 3060 搭配 46GB 内存能跑出每秒 9 到 11 个 token，RTX 5070 搭配 64GB 内存约为每秒 4 到 6 个 token。AMD Ryzen AI Max 平台能达到每秒 19 到 21 个 token，多卡专业工作站甚至能超过每秒 70 个 token。

怎么用与接入工具

Strata 提供了图形桌面应用和命令行工具。Windows、Linux 和 Mac 都有对应的单文件安装包，首次打开会自动匹配下载适合当前显卡的推理引擎。

喜欢终端操作的用户，在终端里直接执行 strata launch，按照提示就能选择下载并启动模型。

更实用的是它内置了兼容 OpenAI 与 Anthropic 的本地 API 接口。启动后通过 strata connect 就能把本地模型对接到 Claude Code、Codex CLI、OpenCode、Hermes Agent 等主流编程与智能体工具中。

为什么重要

如果你是一名注重数据隐私的独立开发者，或者平时有大量重复的日常编程与自动化任务，不想每月为云端模型支付高昂费用，Strata 非常值得现在就装上试一试。

和传统依靠量化硬塞进显存的工具相比，Strata 的分层调度思路更聪明，让消费级硬件不再只是玩具模型的专属运行台。当然，它的物理瓶颈依然存在，受限于内存与硬盘通道速度，生成速率不能和云端集群相比，但在日常辅助编程和后台智能体任务中，这个速度已经足够派上用场。