Baidu、最新モデル「ERNIE 3.5」発表　中国語テストでChatGPT上回る

OpenAIがGPT-4を投入して以来、中国勢がどこまで迫れるかが注目されていましたが、Baidu（百度）がわずか3カ月で一つの答えを出しました。

Baiduは、対話型AI「Ernie Bot（文心一言）」の基盤モデル「Ernie 3.5」が、主要なテストでOpenAIのChatGPTを上回ったと発表しました。中国科学報の報道を引用する形で、中国語のテストにおいてはGPT-4をも超えたとアピールしています。

Baiduは3月にErnie Botの公開テストを開始しており、短期間で大規模なモデル更新に踏み切った形です。

中国語テストでGPT-4超え、英語では課題も

公表されたテスト結果を見ると、モデルごとの得意分野がはっきりと分かれています。

マイクロソフトが公開した大学入試や司法試験などの資格試験に基づくテストでは、中国語の設問においてErnie 3.5がChatGPTとGPT-4の両方を上回りました。ただし、英語の設問ではChatGPTを超えたものの、GPT-4には及びませんでした。

また、中国語に特化した50以上の分野、1万3000問以上の選択式テストでも、Ernie 3.5はChatGPTとGPT-4を抑えて首位に立ちました。

一方で、米国の大学グループが作成した科学や人文科学などの総合テストでは、Ernie 3.5はChatGPTとGPT-4の双方に後れを取る結果となっています。

BaiduのCTOである王海峰氏は、ベータ版公開からわずか3カ月で、文章作成、質疑応答、推論、コード生成の能力が向上し、学習や推論の処理性能も改善したとコメントしています。

プラグイン対応と3カ月での進化

性能向上に加えて、Ernie 3.5では新たにプラグイン機能が導入されました。

これはAIが外部の機能やアプリを呼び出せる仕組みで、Baiduはすでに自社の検索エンジンをプラグイン経由でErnie Botに統合しています。モデル単体の知識だけでなく、最新のウェブ情報を取り込んだ回答が可能になりました。

なぜ重要か

中国語圏のユーザーや現地市場を対象とする開発者にとって、Ernie 3.5は実用的な選択肢になり得ます。特に現地の資格試験や専門知識、検索と連動した情報収集を求める用途なら、試す価値は十分にあると言えます。

今回の動きは、自国の強みを最大限に活かしたスマートな戦術だと私たちは考えます。英語圏の総合ベンチマークでGPT-4に真っ向勝負を挑むのではなく、自国語のデータ量と検索インフラを武器に、Alibabaなどの国内競合に対して確固たるリードを築く狙いが見て取れます。

ただし、米国の大学によるテストや英語環境ではGPT-4との実力差が依然として残っています。プラグイン機能に関してもOpenAIを追従する形となっており、今後どれだけ魅力的なエコシステムを構築できるかが真の勝負どころになりそうです。