ISTA-DASLabがDeepSeek-V4.1量子化版公開、12GB GPUで763Bモデルが動作
ISTA-DASLabが763B MoEモデル「DeepSeek-V4.1-Flash-1017」のGSQ-RCO量子化GGUFを公開しました。重みを最小1.75 bpwまで圧縮し、Strataエンジン併用で12GB VRAMの単一GPUで動作します。2.00 bpw版はベースモデルの精度を100%維持しており、巨大モデルのローカル運用の敷居を大幅に下げました。
llama.cpp
オープンソース「RotorQuant」登場：Google超えの10倍KVキャッシュ圧縮
オープンソースのKVキャッシュ圧縮アルゴリズム「RotorQuant」が公開された。クリフォード回転子を用いることでGoogleのTurboQuantを上回り、10倍の圧縮率を保ちながらプリフィル速度を5.3倍、デコード速度を28%高速化した。長大なコンテキストを単一GPUで動かす敷居を大きく下げる技術だ。
大規模言語モデルに訪れた「Stable Diffusion」の瞬間：LLaMA が手元のノート PC で動く
開発者の Simon Willison 氏は LLM が Stable Diffusion と同様のオープン化の転換期を迎えたと指摘しました。Georgi Gerganov 氏の「llama.cpp」による 4bit 量子化により、Meta の LLaMA が MacBook 上で直接動作可能となり、個人環境での実行が一気に現実味を帯びています。