Edge0: SSD를 메모리처럼 활용해 35B 모델을 2.5GB RAM에서 구동
오픈소스 스트리밍 MoE 추론 프레임워크 Edge0가 공개되었다. SSD에서 필요한 전문가 가중치를 실시간으로 읽어와 35B 모델을 약 2.5GB의 활성 메모리만으로 Mac과 iPhone 등에서 실행할 수 있다. 다음 스텝의 라우팅을 사전 예측해 지연 시간을 줄임으로써 저사양 기기에서도 대형 모델 구동이 가능해졌다.
오픈소스 스트리밍 MoE 추론 프레임워크 Edge0가 공개되었다. SSD에서 필요한 전문가 가중치를 실시간으로 읽어와 35B 모델을 약 2.5GB의 활성 메모리만으로 Mac과 iPhone 등에서 실행할 수 있다. 다음 스텝의 라우팅을 사전 예측해 지연 시간을 줄임으로써 저사양 기기에서도 대형 모델 구동이 가능해졌다.