캐릭터닷에이아이, 6비트 기울기 압축 '스퀸치' 등 사전학습 최적화 기술 공개
캐릭터닷에이아이가 놈 샤지어가 이끌었던 초기 대규모 사전학습 최적화 노하우를 최초로 공개했습니다. 핵심은 6비트 기울기 압축 알고리즘 '스퀸치(Squinch)'로, 제한된 네트워크 대역폭 속에서도 bfloat16 수준의 훈련 정확도를 온전히 유지하도록 설계되었습니다.
캐릭터닷에이아이가 놈 샤지어가 이끌었던 초기 대규모 사전학습 최적화 노하우를 최초로 공개했습니다. 핵심은 6비트 기울기 압축 알고리즘 '스퀸치(Squinch)'로, 제한된 네트워크 대역폭 속에서도 bfloat16 수준의 훈련 정확도를 온전히 유지하도록 설계되었습니다.