#hunch

7:04开源项目传播指数 55

hunch：在 CPU 上跑毫秒级语义决策，把大模型高频任务接过去

开源项目 hunch 基于 EmbeddingGemma 2 打造本地语义决策系统，可在普通 CPU 上实现毫秒级判断。它像快反应系统向大模型边用边学，逐步接管工具调用监控、日志分析等高频任务。文本判断仅需 22 毫秒，大幅砍掉 API 延迟与调用成本且无需 GPU。