#Subquadratic

14:00AIモデル拡散指数 42

Subquadratic、12Mコンテキスト対応のLLM「SubQ」を発表

Subquadraticは完全な劣二次疎アテンション構造を採用したLLM「SubQ」を発表した。1200万トークンのコンテキストに対応し、1MMトークン時でFlashAttentionの52倍高速、Opusの5%未満のコストで約1000倍の計算量削減を実現するとしている。