跳到正文
IFAI

開源專案

百度開源 ERNIE 4.5 模型家族:多模態引數最高達 424B

首次發布 傳播指數 49

百度在 Hugging Face 上線 ERNIE 4.5 開源模型系列,涵蓋文本與圖文多模態能力,引數規模從 0.3B 一路覆蓋到 424B。該系列同時提供 Paddle 與 PyTorch 權重,並包含 Thinking 推理版及量化版本。

百度開源 ERNIE 4.5 模型家族:多模態引數最高達 424B
圖:huggingface.co

百度把 ERNIE 4.5 家族搬上了 Hugging Face,一口氣開源了從 0.3B 邊緣端小模型到 424B 旗艦多模態大模型的完整陣容。如果你正在尋找一個具備圖文理解能力、且有成熟量化方案與長思考推理版本的開源底座,這個系列提供了一整套規格供本地部署或微調選用。

從端側到 424B 旗艦的規格陣容

整個 ERNIE 4.5 開源集合覆蓋了純文本生成與圖文多模態兩大方向。

最高規格的多模態模型是 ERNIE-4.5-VL-424B-A47B,總引數量達到 424B,啟用引數約 47B。純文本領域的旗艦版本則是 ERNIE-4.5-300B-A47B,總引數約 300B。

面向中等規模場景,百度提供了 28B 的多模態版本 ERNIE-4.5-VL-28B-A3B,以及 21B 的純文本模型 ERNIE-4.5-21B-A3B。針對極端邊緣端和低功耗環境,系列裡還包含僅 0.3B 引數的微型模型。

雙框架權重與長思考推理版

這次開源沒有隻侷限於百度自家的飛槳生態。除了 PaddlePaddle 原生格式外,所有主流尺寸都同步放出了 PyTorch 權重,降低了接入社群現有推理管線的門檻。

在中端尺寸上,百度專門推出了 ERNIE-4.5-21B-A3B-Thinking 和多模態的 ERNIE-4.5-VL-28B-A3B-Thinking,專門面向長思考與複雜推理任務。

超大模型的部署通常需要極高視訊記憶體,官方為此直接針對 300B 文本模型配套了多種量化版本,不僅包含 FP8 和 W4A8C8-TP4,還放出了針對多卡張量並行的 2-bit 極限壓縮權重。

怎麼獲取與上手

所有模型權重、分詞器和配置檔案均已直接公開託管在 Hugging Face 的 baidu 官方主頁上。

開發者可以直接通過 Hugging Face 檢索 ernie-45 集合進行拉取。由於提供了基礎版(Base)和指令對齊版,你可以根據需要直接呼叫對話權重,或者拉取 Base 權重在自有資料集上進行二次預訓練與對齊。

為什麼重要

在目前的開源生態裡,400B 級別以上且原生支援多模態的底座非常稀少。21B 和 28B 的 Thinking 版本正好落在大模型微調與私有部署的實用區間內,對需要長鏈路推理但算力受限的團隊很有吸引力。

我們認為,百度同時放出 PyTorch 格式與極限 2-bit 量化,說明其在開源策略上開始務實地貼近開發者習慣,不再強繫結自有軟體棧。如果你正在為企業內網尋找高參數量多模態或深度推理模型,這一套模型值得直接拉下來進行基準實測。

來源 (2)

  1. [1]
    yiyan.baidu.com(在新分頁開啟)原文yiyan.baidu.com
  2. [2]
    huggingface.co(在新分頁開啟)報導huggingface.co

每日 AI 內容精選