#hunch

上午7:04開源專案傳播指數 55

hunch：在 CPU 上跑毫秒級語義決策，把大模型高頻任務接過去

開源專案 hunch 基於 EmbeddingGemma 2 打造本地語義決策系統，可在普通 CPU 上實現毫秒級判斷。它像快反應系統向大模型邊用邊學，逐步接管工具呼叫監控、日誌分析等高頻任務。文本判斷僅需 22 毫秒，大幅砍掉 API 延遲與呼叫成本且無需 GPU。