Character.ai、初期の大規模事前学習技術を公開　6ビット勾配圧縮などを解説

最先端の4分の1しかないネットワーク帯域幅で、巨大な言語モデルをどう事前学習させるか。

オープンソースモデルの活用へと舵を切る前、Character.ai の共同創業者である Noam Shazeer 氏らは、まさにこの過酷な制約に直面していました。同社は今回、初期の大規模事前学習を支えた5つの最適化技術を初めて公式ブログで公開しました。

6ビット勾配圧縮「Squinch」と数値安定化

目玉となるのが、Shazeer 氏が考案した6ビット勾配圧縮アルゴリズム「Squinch」です。8個の勾配値を48ビットのブロックにエンコードし、要素あたり実質6ビットに圧縮します。

一般的な量子化手法と異なり Transformer の勾配分布に特化して設計されており、bfloat16 と同等の学習精度を維持しながら通信コストを大幅に削減しました。この着想は後に DeepSeek の logfmt などにも影響を与えています。

浮動小数点の精度劣化を防ぐため、「Attention Z-Reg」も導入されました。bfloat16 は値が大きくなると刻み幅が粗くなるため、アテンションの逆伝播時にロジットを0付近に保つ正則化を勾配に直接加えます。

さらに量子化認識学習では、小さな活性化がゼロに潰れるのを防ぐ「Dynamic Clamping」を採用し、重みのRMS値に応じて動的にクランプ範囲を決定する仕組みを整えました。

会話ツリーの効率化と低コスト蒸留

会話データ特有の分岐を効率的に扱うため、同社は「Visibility Mask」を開発しました。開始位置と上限を示す2つのテンソルだけで、樹形構造の文書や推論時のビームサーチ、因果的アテンションを同一バッチ内に自然に詰め込むことができます。

またモデル蒸留では、教師モデルの巨大な語彙確率をオフライン保存するストレージ負荷を抑えるため、Gumbel top-k サンプリングを活用しました。不偏性を保ちながら出力を大幅に間引いて保存し、生徒モデル学習時に復元する工夫です。

なぜ重要か

帯域幅が限られた環境や、分散MoEモデル、クラスタ間での学習を試みる開発者にとって、これらの手法は貴重な実装のヒントになります。ハードウェアの制約をアルゴリズムの工夫で突破する具体例として、今でも十分に応用が利きます。

業界全体から見れば、かつて小規模なスタートアップがいかにして巨大テック企業と渡り合っていたかを示す歴史的記録でもあります。Shazeer 氏らの高度なエンジニアリング力があったからこそ、貧弱なインフラでも最高峰の対話AIを構築できました。

自社での大規模事前学習を終了した Character.ai が、これらの資産を公開した判断は非常に好感が持てます。もはや資本力勝負となった基礎モデル開発から身を引き、オープンソースのファインチューニングやプロダクト開発に専念する同社の姿勢とも整合性が取れています。