百度推出 ERNIE 3.5:中文測試超 ChatGPT,全面支援外掛
週二,百度釋出大模型 ERNIE 3.5。測試顯示該模型在中文等基準測試中超過 ChatGPT 與 GPT 4,並在推理和程式碼能力上全面提升。新版本還支援外掛功能,已整合百度搜索。不過在由美國大學開發的綜合測試中,其成績仍有差距。

OpenAI 釋出 GPT-4 之後,很多人都在猜國產大模型還要追多久。百度的答案只用了三個月。
百度公佈了自家大模型的新版本 Ernie 3.5(文心大模型 3.5)。援引《中國科學報》的資料,文心 3.5 在多個基準測試裡超過了 ChatGPT,甚至在中文測試中壓過了 OpenAI 最先進的 GPT-4。
從 3 月份文心一言開啟內測算起,文心大模型的基礎底座在這幾個月裡完成了一次大版本迭代。
中文考試超車,英文考場偏科
測試結果究竟怎麼樣,具體拆開來看非常有意思。
第一項測試來自微軟釋出的評測集,主要考察高考、司法考試這類入學和資格認定考試。在這份考卷裡,如果是中文題目,文心 3.5 的表現不僅贏了基於 GPT-3.5 的 ChatGPT,還超過了 GPT-4。但在英文題目裡,文心 3.5 雖然贏了 ChatGPT,卻依然落後於 GPT-4。
第二項測試主要針對中文語境,包含 50 多個科目的 13000 多道多選題。在這個完全由中文主導的測試中,文心 3.5 同時戰勝了 ChatGPT 和 GPT-4。
第三項測試則由美國幾所大學聯合開發,涵蓋科學和人文等多個學科。這回文心 3.5 沒能延續優勢,成績落後於 ChatGPT 和 GPT-4。
百度技術長王海峰表示,文心一言內測僅三個月後,文心 3.5 就在創作、問答、推理和程式碼生成上取得了全面提升,訓練效能和推理效能也同樣得到了最佳化。
外掛生態入場,把搜尋裝進模型
除了底層跑分,文心 3.5 這次最明顯的產品變化是支援了外掛機制。
所謂外掛,說白了就是給大模型裝上各種外部工具。百度已經把自家的搜尋能力做成外掛接入了文心一言。
這意味著模型不用再完全靠自身引數硬背即時資訊,而是可以在生成回答時隨時調用搜索引擎抓取最新動態。
為什麼重要
對於國內普通使用者和企業開發者來說,如果你的業務場景大部分集中在中文公文寫作、資格考試備考或者本地化問答上,文心 3.5 確實拿出了現階段非常能打的表現,配合搜尋外掛也能明顯緩解胡說八道的問題。
但在行業層面,這場測試也清晰劃出了中美兩家科技巨頭的邊界。我們認為,百度這一步走得相當務實:先集中資源打透中文這個大本營,在涉及中國高考、司法考題以及本土知識體系的題目上建立護城河。面對阿里等國內對手的追趕,百度需要用成績單證明自己在技術上的身位。
不過,看起來文心 3.5 依然存在偏科。一旦題目回到海外高校主導的通用綜合學科,或者純英文複雜語境下,GPT-4 的底子依然更紮實。另外,外掛這條路 OpenAI 已經在前面踩坑,如何吸引真正高頻好用的第三方外掛加入,會是百度接下來要面對的現實考驗。
來源 (2)
- research.baidu.com(在新分頁開啟)原文research.baidu.com
- cnbc.com(在新分頁開啟)報導cnbc.com
話題追蹤百度文心一言的釋出與推廣
- 百度釋出文心 4.0:李彥宏稱綜合能力各方面均不遜於 GPT-4
- 百度文心一言獲批全面開放:上線 19 小時使用者破百萬,需國內手機號註冊
- 百度推出 ERNIE 3.5:中文測試超 ChatGPT,全面支援外掛本則