LM Studio 0.3.15公開、CUDA 12.8対応でRTX推論が最大35%高速化

ローカルPCで大規模言語モデル（LLM）を動かそうとして、モデルの読み込みの遅さや生成速度のモタつきに悩まされた経験がある人は少なくないはずです。

NVIDIAは5月8日、ローカルLLM実行ツールとして広く使われている「LM Studio」の最新アップデートを発表しました。バージョン0.3.15においてCUDA 12.8に対応し、GeForce RTX GPU環境での推論性能が大幅に向上しています。

CUDA GraphとFlash Attentionでスループットを底上げ

LM Studioの基盤には、オープンソースのランタイムであるllama.cppが採用されています。今回の高速化は、NVIDIAがLM Studioおよびllama.cppコミュニティと直接連携して最適化を組み込んだことで実現しました。

主な最適化の1つが「CUDA Graph」のサポートです。複数のGPU処理を単一のCPU呼び出しにまとめることでCPUオーバーヘッドを削減し、モデルのスループットを最大35%向上させます。

さらに「Flash Attention」のCUDAカーネルも導入されました。Transformerの注意機構（Attention）処理を効率化することで、メモリや計算リソースを増やさずにコンテキスト長を拡張でき、スループットが最大15%向上します。

対応ハードウェアも幅広く、GeForce RTX 20シリーズから最新のBlackwell世代GPUまでカバーされています。対応ドライバが導入されていれば、LM Studio内で自動的にCUDA 12.8ランタイムが利用可能になります。

エージェント開発に効く新機能も追加

速度向上だけでなく、開発者向けの機能強化も盛り込まれました。

新たに「tool_choice」パラメータが追加され、外部ツールの呼び出しを強制するか、無効にするか、モデルに判断を委ねるかを細かく制御できるようになりました。これにより、RAG（検索拡張生成）やローカルエージェントの構築において、安定した出力制御が可能になります。

また、複雑で長いプロンプトを扱いやすくするためにシステムプロンプトエディタも刷新されました。LM StudioはOpenAI互換のAPIエンドポイントを提供できるため、VS Codeと連携させてローカルコーディング支援を行ったり、ObsidianのText GeneratorやSmart Connectionsプラグインを使って個人のメモを完全オフラインで検索・要約したりといった活用が広がっています。モデルはGemma、Llama 3、Mistral、Orcaなどをサポートし、4ビット量子化からフル精度まで対応します。

なぜ重要か

機密データや個人情報をクラウドに預けたくないクリエイターやエンジニアにとって、ローカルで軽快に動くLLM環境の価値は非常に高いと言えます。RTX GPU搭載PCを持っているなら、今すぐ試す価値は十分にあります。

NVIDIAの動きとしても非常に巧みです。独自の囲い込みアプリを無理に押し付けるのではなく、コミュニティで最も支持されているllama.cppやLM Studioに開発リソースを投じ、直接高速化しました。結果として「ローカルで快適に動かしたいならRTXを選ぶしかない」というハードウェアの優位性をさらに強固にしています。

ただし、Flash Attentionなどで効率化したとはいえ、一般向けPCのVRAM容量という物理的な制約が消えるわけではありません。また、ランタイムの手動切り替えやGPUオフロードのスライダー調整など、非エンジニアにとっては依然としてやや敷居が高い点も残されています。