Character.ai 解密預訓練技術：6-bit 梯度壓縮讓通訊開銷驟降
Character.ai 首次公開早期由 Noam Shazeer 帶領研發的 Transformer 預訓練最佳化技巧。其中最引人關注的是 6-bit 梯度壓縮演算法 Squinch，在叢集網路頻寬僅為頂尖系統四分之一的限制下，保持了與 bfloat16 相當的訓練精度。團隊同時還公開了注意力正則化與蒸餾最佳化等工程細節。
Character.ai 首次公開早期由 Noam Shazeer 帶領研發的 Transformer 預訓練最佳化技巧。其中最引人關注的是 6-bit 梯度壓縮演算法 Squinch，在叢集網路頻寬僅為頂尖系統四分之一的限制下，保持了與 bfloat16 相當的訓練精度。團隊同時還公開了注意力正則化與蒸餾最佳化等工程細節。