Hugging Faceの2人体制チーム「H4」、Zephyrなどオープンモデルを開発

Hugging Faceの「H4」プロジェクトは、ChatGPTのような対話型AIをオープンソースの資産だけで再現するための学習レシピとコードを公開している。

開発を担うのは、わずか2名の機械学習エンジニアで構成されるミニチームだ。H4という名称は「役立ち、正直で、無害、そしてハグ（helpful, honest, harmless, huggy）」の頭文字に由来する。ChatGPTの登場をきっかけに今年1月に発足し、モデルのアライメント（人間やAIのフィードバックを通じた行動の調整）研究に注力している。

2人チームがZephyrを生み出すまで

H4の代表作が「Zephyr-7B-α」だ。仏Mistral社のMistral 7Bをベースに独自の対話向けアライメントを施したモデルで、高い対話性能を実現している。また、アブダビのTechnology Innovation Instituteが開発したFalcon-40Bの改修も手がけ、自然言語の指示に的確に答えられるよう調整を加えた。

担当エンジニアのLewis Tunstall氏とEd Beeching氏は欧州からリモートで勤務している。変化の速い研究分野で機敏に動くため、あえて2人体制を維持しているという。一方でインフラ面は手厚く、Hugging Faceが保有する1000基超のNvidia A100 GPUクラスタを活用し、社内の評価チームやLMSYS、LlamaIndexといった外部コミュニティとも連携している。

公開範囲と入手方法

H4の特徴は、単に学習済みモデルの重みを置くだけでなく、手順そのものをオープンにしている点にある。今月公開されたハンドブックには、Zephyrの開発に用いた全ソースコードとデータセットが収録されている。

コミュニティから提案される様々なアライメント手法が本当に実効性を持つかを検証することが彼らの狙いだ。今後新たなモデルをリリースする際も、このハンドブックにコードを追記していく予定だという。

H4の成果物自体は無償で公開されており直接の収益化は行われていないが、Hugging Faceの法人向け支援プラン「Expert Acceleration Program」を通じて企業の独自AI開発に還元される仕組みになっている。

なぜ重要か

H4が示した最大の価値は、高性能な対話モデルの開発を「巨大企業のブラックボックス」から「再現可能なオープンレシピ」へと引き戻した点にある。7Bクラスの軽量モデルを実用的なチャットAIへと仕上げる道筋が、コードとデータセットの両面で手に入る意義は極めて大きい。

1000基超のA100という計算資源そのものは個人では用意できないものの、公開された学習レシピと知見を使えば、限られたリソースでも効率的なファインチューニングが可能になる。オープンソースAIの競争軸を大きく前進させる取り組みといえる。