跳到正文
IFAI

Gemma

產品10 則新聞

  1. 開源專案傳播指數 49

    Google 為 Gemma 4 推出 MTP 草稿模型:推理最高提速 3 倍

    Google 為 Gemma 4 系列模型推出多 Token 預測(MTP)草稿模型。該方案採用推測解碼技術,由輕量草稿模型先行預測多個 Token,再由大模型並行驗證,在保證質量零損耗的同時實現最高 3 倍推理加速。草稿模型已按 Apache 2.0 開源,支援 vLLM 與 Ollama。

  2. AI工具傳播指數 32

    Gemma 推理新方案:Dataflow 結合 vLLM 提速超 23 倍

    Google 介紹了將 vLLM 接入 Dataflow 流式管線執行 Gemma 2B 模型的方法。藉助 vLLM 的連續批處理機制與 Dataflow 模型管理器,開發者只需幾行程式碼即可構建端到端管線,測試中推理吞吐效率提升超過 23 倍。