跳到正文
IFAI

大模型

百度推出 ERNIE 3.5:中文測試超 ChatGPT,全面支援外掛

首次發布 傳播指數 56

週二,百度釋出大模型 ERNIE 3.5。測試顯示該模型在中文等基準測試中超過 ChatGPT 與 GPT 4,並在推理和程式碼能力上全面提升。新版本還支援外掛功能,已整合百度搜索。不過在由美國大學開發的綜合測試中,其成績仍有差距。

百度推出 ERNIE 3.5:中文測試超 ChatGPT,全面支援外掛
圖:cnbc.com

OpenAI 釋出 GPT-4 之後,很多人都在猜國產大模型還要追多久。百度的答案只用了三個月。

百度公佈了自家大模型的新版本 Ernie 3.5(文心大模型 3.5)。援引《中國科學報》的資料,文心 3.5 在多個基準測試裡超過了 ChatGPT,甚至在中文測試中壓過了 OpenAI 最先進的 GPT-4。

從 3 月份文心一言開啟內測算起,文心大模型的基礎底座在這幾個月裡完成了一次大版本迭代。

中文考試超車,英文考場偏科

測試結果究竟怎麼樣,具體拆開來看非常有意思。

第一項測試來自微軟釋出的評測集,主要考察高考、司法考試這類入學和資格認定考試。在這份考卷裡,如果是中文題目,文心 3.5 的表現不僅贏了基於 GPT-3.5 的 ChatGPT,還超過了 GPT-4。但在英文題目裡,文心 3.5 雖然贏了 ChatGPT,卻依然落後於 GPT-4。

第二項測試主要針對中文語境,包含 50 多個科目的 13000 多道多選題。在這個完全由中文主導的測試中,文心 3.5 同時戰勝了 ChatGPT 和 GPT-4。

第三項測試則由美國幾所大學聯合開發,涵蓋科學和人文等多個學科。這回文心 3.5 沒能延續優勢,成績落後於 ChatGPT 和 GPT-4。

百度技術長王海峰表示,文心一言內測僅三個月後,文心 3.5 就在創作、問答、推理和程式碼生成上取得了全面提升,訓練效能和推理效能也同樣得到了最佳化。

外掛生態入場,把搜尋裝進模型

除了底層跑分,文心 3.5 這次最明顯的產品變化是支援了外掛機制。

所謂外掛,說白了就是給大模型裝上各種外部工具。百度已經把自家的搜尋能力做成外掛接入了文心一言。

這意味著模型不用再完全靠自身引數硬背即時資訊,而是可以在生成回答時隨時調用搜索引擎抓取最新動態。

為什麼重要

對於國內普通使用者和企業開發者來說,如果你的業務場景大部分集中在中文公文寫作、資格考試備考或者本地化問答上,文心 3.5 確實拿出了現階段非常能打的表現,配合搜尋外掛也能明顯緩解胡說八道的問題。

但在行業層面,這場測試也清晰劃出了中美兩家科技巨頭的邊界。我們認為,百度這一步走得相當務實:先集中資源打透中文這個大本營,在涉及中國高考、司法考題以及本土知識體系的題目上建立護城河。面對阿里等國內對手的追趕,百度需要用成績單證明自己在技術上的身位。

不過,看起來文心 3.5 依然存在偏科。一旦題目回到海外高校主導的通用綜合學科,或者純英文複雜語境下,GPT-4 的底子依然更紮實。另外,外掛這條路 OpenAI 已經在前面踩坑,如何吸引真正高頻好用的第三方外掛加入,會是百度接下來要面對的現實考驗。

來源 (2)

  1. [1]
    research.baidu.com(在新分頁開啟)原文research.baidu.com
  2. [2]

話題追蹤百度文心一言的釋出與推廣

這個話題的歷次新聞,最新的在上面。

  1. 百度釋出文心 4.0:李彥宏稱綜合能力各方面均不遜於 GPT-4
  2. 百度文心一言獲批全面開放:上線 19 小時使用者破百萬,需國內手機號註冊
  3. 百度推出 ERNIE 3.5:中文測試超 ChatGPT,全面支援外掛本則

每日 AI 內容精選