跳到正文
IFAI

裝置端AI

行業標籤622 則新聞

  1. 開源專案傳播指數 48

    面壁智慧開源 MiniCPM-V 4.6:1.3B 端側模型,6GB 記憶體流暢跑

    面壁智慧聯合清華大學及 OpenBMB 正式開源端側多模態模型 MiniCPM-V 4.6。模型僅 1.3B 引數,約 6GB 記憶體即可在端側裝置流暢執行,效能超越同級 Qwen3.5-0.8B,計算 Token 消耗僅為其十九分之一。這大幅降低了端側多模態部署門檻,一張消費級顯示卡即可完成微調。

  2. 開源專案傳播指數 49

    Google 為 Gemma 4 推出 MTP 草稿模型:推理最高提速 3 倍

    Google 為 Gemma 4 系列模型推出多 Token 預測(MTP)草稿模型。該方案採用推測解碼技術,由輕量草稿模型先行預測多個 Token,再由大模型並行驗證,在保證質量零損耗的同時實現最高 3 倍推理加速。草稿模型已按 Apache 2.0 開源,支援 vLLM 與 Ollama。