Tiiny AI 推出掌上 AI 超算：充电宝大小，离线跑 120B 大模型

你想过把一台能跑 1200 亿参数大模型的超级计算机直接揣进裤兜里吗？不是掏出手机连 Wi-Fi 调云端接口，而是设备本身完全断网，全靠本地算力硬跑。

美国深度科技初创公司 Tiiny AI 拿出了这样一款硬件：Tiiny AI Pocket Lab。吉尼斯世界纪录官方已经把它认证为全球最小的个人 AI 超级计算机。

充电宝身材，吞下 1200 亿参数模型

这台设备长得非常像一块普通的移动电源，大小完全可以塞进口袋。但它摆脱了对云端连接、远程服务器和昂贵独立 GPU 的依赖。

根据官方公布的参数，Pocket Lab 搭载了一颗 ARMv9.2 架构的 12 核 CPU，整机功耗只有 65W。相比动辄几百上千瓦的高端显卡，它的能耗和碳足迹基本只有传统设备的一个零头。

在这么小的体积下，它主打运行 10B 到 100B 参数区间的模型，官方称这能覆盖现实中 80% 以上的日常任务。极端情况下，它甚至能硬抗 120B 参数的模型，在全离线状态下提供接近 GPT-4 水平的多步复杂推理。

为了解决大模型吃内存和算力的硬伤，Tiiny AI 押注了两个关键技术。一个是 TurboSparse，它可以在不降低模型智能的前提下，只激活模型中真正需要的神经元；另一个是在 GitHub 上拿到超过 8000 颗星的开源推理引擎 Powerinfer，把负载动态分配给 CPU 和 NPU，换取更高的能效比。

从 DeepSeek 到本地 Agent 全给配齐

除了硬件，官方也想把它做成开箱即用的本地 AI 盒子。系统支持一键部署主流开源大模型，包括 Llama、Qwen、DeepSeek、Mistral、Phi，甚至还有 GPT-OSS。

对折腾 AI 的人来说，搭建工作流往往最头疼。Pocket Lab 直接预装了多种 Agent 工具的一键配置，比如做工作流编排的 Flowise、文生图社区常用的 ComfyUI、做自主智能体的 OpenManus，以及角色扮演工具 SillyTavern。

机器的所有数据、用户偏好和历史文档都留在本地，采用银行级加密存储，自带长期记忆。官方表示这些功能会在 2026 年 1 月的 CES 上正式展出，后续还会通过 OTA 方式推送固件更新。

为什么重要

我们认为，这台设备最击中的人群是那些对隐私有极度洁癖的创作者、独立开发者和研究人员。如果你的代码库、财务表格或未公开文稿绝对不能上传到外部云端，但又嫌台式工作站太吵太重，这种能随身携带的 65W 小盒子确实很有吸引力。

它的聪明之处在于技术选型。团队没有硬碰高端英伟达显卡，而是借力 Powerinfer 和稀疏激活算法，把算力压榨转移到了低功耗的 ARM 架构上，这种软硬协同是端侧小算力抗衡大模型的正路。

但隐患也很现实。跑 120B 模型不仅是能跑就行，大家更关心生成速度。在 65W 的 ARM 架构下，哪怕用了稀疏化，每秒究竟能吐出几个 token、发热能不能压住，依然要打个问号。对普通用户来说，如果手头没有重度离线处理敏感数据的刚需，不妨等 CES 现场实测出来后再决定要不要入手。