Tiiny AI 推出掌上 AI 超算：充電寶大小，離線跑 120B 大模型

你想過把一臺能跑 1200 億引數大模型的超級計算機直接揣進褲兜裡嗎？不是掏出手機連 Wi-Fi 調雲端介面，而是裝置本身完全斷網，全靠本地算力硬跑。

美國深度科技初創公司 Tiiny AI 拿出了這樣一款硬體：Tiiny AI Pocket Lab。吉尼斯世界紀錄官方已經把它認證為全球最小的個人 AI 超級計算機。

充電寶身材，吞下 1200 億引數模型

這臺裝置長得非常像一塊普通的移動電源，大小完全可以塞進口袋。但它擺脫了對雲端連線、遠端伺服器和昂貴獨立 GPU 的依賴。

根據官方公佈的引數，Pocket Lab 搭載了一顆 ARMv9.2 架構的 12 核 CPU，整機功耗只有 65W。相比動輒幾百上千瓦的高階顯示卡，它的能耗和碳足跡基本只有傳統裝置的一個零頭。

在這麼小的體積下，它主打執行 10B 到 100B 引數區間的模型，官方稱這能覆蓋現實中 80% 以上的日常任務。極端情況下，它甚至能硬抗 120B 引數的模型，在全離線狀態下提供接近 GPT-4 水平的多步複雜推理。

為了解決大模型吃記憶體和算力的硬傷，Tiiny AI 押注了兩個關鍵技術。一個是 TurboSparse，它可以在不降低模型智慧的前提下，只啟用模型中真正需要的神經元；另一個是在 GitHub 上拿到超過 8000 顆星的開源推理引擎 Powerinfer，把負載動態分配給 CPU 和 NPU，換取更高的能效比。

從 DeepSeek 到本地 Agent 全給配齊

除了硬體，官方也想把它做成開箱即用的本地 AI 盒子。系統支援一鍵部署主流開源大模型，包括 Llama、Qwen、DeepSeek、Mistral、Phi，甚至還有 GPT-OSS。

對摺騰 AI 的人來說，搭建工作流往往最頭疼。Pocket Lab 直接預裝了多種 Agent 工具的一鍵配置，比如做工作流編排的 Flowise、文生圖社群常用的 ComfyUI、做自主智慧體的 OpenManus，以及角色扮演工具 SillyTavern。

機器的所有資料、使用者偏好和歷史文件都留在本地，採用銀行級加密儲存，自帶長期記憶。官方表示這些功能會在 2026 年 1 月的 CES 上正式展出，後續還會通過 OTA 方式推送韌體更新。

為什麼重要

我們認為，這臺裝置最擊中的人群是那些對隱私有極度潔癖的創作者、獨立開發者和研究人員。如果你的程式碼庫、財務表格或未公開文稿絕對不能上傳到外部雲端，但又嫌臺式工作站太吵太重，這種能隨身攜帶的 65W 小盒子確實很有吸引力。

它的聰明之處在於技術選型。團隊沒有硬碰高階輝達顯示卡，而是借力 Powerinfer 和稀疏啟用演算法，把算力壓榨轉移到了低功耗的 ARM 架構上，這種軟硬協同是端側小算力抗衡大模型的正路。

但隱患也很現實。跑 120B 模型不僅是能跑就行，大家更關心生成速度。在 65W 的 ARM 架構下，哪怕用了稀疏化，每秒究竟能吐出幾個 token、發熱能不能壓住，依然要打個問號。對普通使用者來說，如果手頭沒有重度離線處理敏感資料的剛需，不妨等 CES 現場實測出來後再決定要不要入手。