#Squinch

21:10AIモデル拡散指数 43

Character.ai、初期の大規模事前学習技術を公開　6ビット勾配圧縮などを解説

Character.aiはかつて共同創業者のノーム・シャジール氏らが開発したTransformer事前学習の最適化技術を初公開しました。帯域が限られた環境向けに開発された6ビット勾配圧縮アルゴリズム「Squinch」をはじめ、量子化の安定化や蒸馏最適化の知見が詳細に明かされています。