DeepSeek、スパース注意機構を導入した実験モデル「V3.2-exp」を公開
DeepSeekは月曜日、実験的AIモデル「V3.2-exp」を公開した。新たに導入したスパース注意機構により、長文コンテキスト処理時のAPIコストを最大で半減できるという。ライトニングインデクサーとトークン選別機構で負荷を抑える仕組みで、重みはHugging Faceで無料公開されている。
DeepSeekは月曜日、実験的AIモデル「V3.2-exp」を公開した。新たに導入したスパース注意機構により、長文コンテキスト処理時のAPIコストを最大で半減できるという。ライトニングインデクサーとトークン選別機構で負荷を抑える仕組みで、重みはHugging Faceで無料公開されている。