斯坦福開源本地 AI 框架 OpenJarvis：近九成日常查詢可在端側跑通

OpenJarvis 是斯坦福大學團隊開源的端側個人 AI 助手框架，目標是讓個人智慧體預設完全執行在你自己的本地裝置上，只把雲端當成萬不得已時的補充。

現在的很多個人助理專案（比如收穫了 25 萬顆 GitHub Star 的 OpenClaw 系列），本地往往只是一層薄薄的排程殼，真正的大腦依然掛在別人的雲端伺服器上。你的個人上下文、隱私資料、延遲體驗和錢包厚度，全被對方的 API 和服務條款掐著。OpenJarvis 就是衝著打破這種依賴來的。

它能做到什麼

斯坦福團隊在釋出前做了一套非常龐大的基準測試：覆蓋了超過 100 萬條查詢、20 多個模型以及 8 種硬體加速器。測試得出的關鍵結論是，本地模型與硬體加速器已經足以準確處理 88.7% 的日常單輪對話與推理任務，而且能維持在互動級的響應延遲內。

換句話說，日常只有剩下的 11.3% 極其複雜的任務才真正需要上雲。團隊的研究還發現，從 2023 年到 2025 年，每瓦特能耗所能換取的智慧效率提升了 5.3 倍，端側完全有能力接管絕大多數日常工作。

它是怎麼跑起來的

OpenJarvis 把本地 AI 系統拆成了五個可組合的標準化積木：智慧模型、推理引擎、智慧體編排、工具與記憶、以及持續學習機制。你可以把它整體當成一個完整的生產底座，也可以單獨拆出某一塊去替換或做研究。

它最聰明的地方在於兩件事。第一是重構了評估維度：它內建了基準測試工具，不再單看模型答得準不準，而是把能耗、硬體浮點運算量、延遲、記憶體佔用和實際花銷當成第一約束來測，連筆記本跑電池時的功耗都會標準化記錄。

第二是閉環學習：它支援利用本地留下的互動軌跡資料直接最佳化提示詞、智慧體邏輯和模型權重，整個持續學習過程不需要把任何一條私密互動傳到雲端。

目前 OpenJarvis 已經完全開源，程式碼和基準測試工具均已開放，可以在其官網和開源倉庫直接下載部署。團隊甚至還辦了個能耗排行榜比賽，打榜還有機會贏取 Mac Mini。

為什麼重要

如果你重視資料隱私、反感按 token 計費的雲端 API，或者想在本地折騰一套真正屬於自己的個人 Agent，OpenJarvis 非常值得現在就拉下來試試。

我們認為它走得最漂亮的一步，不是單純喊「本地優先」的口號，而是拿出了 100 萬條真實測試資料給行業算清了一筆賬：將近九成的個人任務根本用不著上雲買單。在雲端大模型廠商拼命把使用者資料往中心化集群裡攬的當下，它給端側智慧體搭好了一套像 PyTorch 那樣標準、可複用的基礎設施底座。