LM Studio 0.3.15 출시: CUDA 12.8 지원으로 RTX 추론 최대 35% 향상

내 PC에서 오픈소스 대형 언어 모델(LLM)을 직접 구동해 본 사람이라면 누구나 느린 로딩 시간과 답답한 텍스트 출력 속도에 지쳐본 적이 있을 것입니다.

엔비디아(NVIDIA)가 5월 8일, 널리 쓰이는 무료 로컬 LLM 실행 도구인 LM Studio의 대규모 성능 개선을 발표했습니다. LM Studio 0.3.15 버전 업데이트를 통해 CUDA 12.8을 전면 도입하면서 지포스 RTX(GeForce RTX) GPU 환경에서의 처리 속도를 크게 끌어올렸습니다.

llama.cpp 최적화로 성능을 쥐어짜다

LM Studio의 핵심 구동 엔진은 오픈소스 런타임인 llama.cpp입니다. 엔비디아는 LM Studio 및 llama.cpp 개발 커뮤니티와 손잡고 RTX 하드웨어에 맞춘 최적화 코드를 엔진 레벨에 이식했습니다.

핵심 변화 중 하나는 CUDA Graph 지원입니다. 여러 GPU 연산 작업을 단일 CPU 호출로 묶어 처리함으로써 CPU 오버헤드를 줄였고, 이를 통해 모델 처리량을 최대 35%까지 개선했습니다.

여기에 Flash Attention CUDA 커널도 탑재되었습니다. 트랜스포머 모델의 연산 병목인 어텐션 메커니즘을 효율화해 메모리 사용량을 늘리지 않고도 더 긴 컨텍스트 윈도우를 처리할 수 있게 되었으며, 처리 속도 역시 최대 15% 더 빨라졌습니다.

적용 범위도 넓습니다. 구형 지포스 RTX 20 시리즈부터 최신 블랙웰(Blackwell) 아키텍처 기반 GPU까지 호환 드라이버만 갖추면 CUDA 12.8 런타임을 통해 더 빠른 모델 로드와 반응 속도를 누릴 수 있습니다.

개발자와 작업자를 위한 기능 개선

속도뿐 아니라 실질적인 워크플로우를 위한 개발자 편의 기능도 함께 강화되었습니다.

이번 버전에서는 tool_choice 파라미터를 추가해 모델이 외부 도구를 호출하는 방식을 세밀하게 제어할 수 있게 했습니다. 도구 호출을 강제하거나 완전히 차단하거나 모델이 스스로 판단하게 만들 수 있어 안정적인 로컬 에이전트와 RAG 파이프라인 구축이 한결 수월해졌습니다.

길고 복잡한 프롬프트를 다루기 편하도록 시스템 프롬프트 편집기도 새롭게 개편되었습니다. LM Studio는 OpenAI 호환 API 엔드포인트를 로컬에서 바로 띄울 수 있어 VS Code의 코딩 보조 도구로 연결하거나 옵시디언(Obsidian)의 플러그인을 통해 개인 노트를 오프라인에서 안전하게 요약하고 검색하는 용도로 유용합니다. 지원 모델은 Gemma, Llama 3, Mistral, Orca 등이며, 4비트 양자화부터 원본 정밀도까지 폭넓게 구동할 수 있습니다.

왜 중요한가

데이터 프라이버시가 중요한 개발자나 개인 연구자에게 이번 업데이트는 확실한 이점을 제공합니다. 이미 RTX 그래픽카드를 장착한 PC를 쓰고 있다면 0.3.15 버전으로 판올림하고 Flash Attention을 켜는 것만으로도 체감 성능이 크게 달라지므로 즉시 시도해 볼 가치가 있습니다.

엔비디아의 전략 역시 영리합니다. 자체 전용 폐쇄형 소프트웨어를 강요하는 대신 오픈소스 진영에서 이미 대세가 된 llama.cpp와 LM Studio를 직접 도와 성능을 끌어올렸습니다. 오픈소스를 로컬에서 가장 쾌적하게 돌리려면 결국 RTX 하드웨어를 사야 한다는 공식을 다시 한번 단단하게 만든 셈입니다.

다만 Flash Attention으로 효율을 높였다고 해도 일반 소비자용 그래픽카드의 VRAM 용량 한계는 여전히 남아 있습니다. 또한 런타임 다운로드나 GPU 레이어 오프로드 같은 수동 설정이 여전히 필요하다는 점에서 일반 대중에게는 아직 진입 장벽이 있어 보입니다.