hunch:在 CPU 上跑毫秒級語義決策,把大模型高頻任務接過去
開源專案 hunch 基於 EmbeddingGemma 2 打造本地語義決策系統,可在普通 CPU 上實現毫秒級判斷。它像快反應系統向大模型邊用邊學,逐步接管工具呼叫監控、日誌分析等高頻任務。文本判斷僅需 22 毫秒,大幅砍掉 API 延遲與呼叫成本且無需 GPU。
開源專案 hunch 基於 EmbeddingGemma 2 打造本地語義決策系統,可在普通 CPU 上實現毫秒級判斷。它像快反應系統向大模型邊用邊學,逐步接管工具呼叫監控、日誌分析等高頻任務。文本判斷僅需 22 毫秒,大幅砍掉 API 延遲與呼叫成本且無需 GPU。
Google 釋出實驗性筆記應用 Google AI Edge Foresight。它搭載端側 EmbeddingGemma 2 模型,專為 Apple Silicon 的 Mac 最佳化,能在完全斷網的情況下轉錄會議、將速記潤色為結構化筆記,並支援基於本地檔案的問答,音訊與筆記全程不出電腦。
Google 釋出開源多模態嵌入模型 EmbeddingGemma 2。該模型僅 7.4 億引數,採用 Apache 2.0 協議,能將文本、程式碼、影像、音訊和影片對映進統一向量空間。在 Pixel 11 Pro 上執行全模態僅需 567MB 記憶體,方便開發者直接在本地做完全離線的跨模態搜尋與 RAG。