마이크로소프트, Windows에 GPU 가속 gpt-oss-20B 모델 지원

gpt-oss-20B는 OpenAI가 선보인 오픈 추론 모델로, 마이크로소프트가 이를 GPU 가속에 최적화하여 일반 Windows PC에서 바로 로컬 추론을 실행할 수 있도록 내놓았습니다.

외부 API 호출 비용이나 네트워크 연결 걱정 없이, 내 컴퓨터 안에서 코드 실행과 도구 호출을 수행하는 로컬 AI 에이전트를 몇 분 만에 구축할 수 있습니다.

무엇을 할 수 있나

이 모델의 핵심은 논리적 추론과 도구 연동에 집중되어 있습니다. OpenAI의 고연산 강화학습으로 훈련되어, 생각의 연쇄(Chain-of-thought) 과정 안에서 웹 검색을 호출하거나 파이썬 코드를 직접 실행하는 작업에 뛰어납니다.

마이크로소프트는 가볍고 도구 활용 능력이 뛰어나다고 설명하며, 대역폭이 제한된 환경이나 오프라인 워크플로에 탑재할 자율 에이전트에 최적이라고 강조했습니다.

다만 이 모델은 텍스트 전용입니다. 최신 멀티모달 모델처럼 이미지나 오디오를 처리하거나 생성하지는 못하며, 오직 텍스트 기반 추론에만 특화되어 있습니다.

하드웨어 요구 사양과 치명적인 단점

로컬에서 원활하게 돌리려면 VRAM 기준 최소 16GB 이상의 GPU가 필요합니다. 최근 출시된 Nvidia나 AMD Radeon 그래픽 카드를 탑재한 일반 PC 및 노트북이면 구동할 수 있습니다.

설치 전 반드시 알아둬야 할 단점은 인물 정보에 대한 심각한 환각(Hallucination) 현상입니다.

OpenAI 자체 인물 지식 정확도 벤치마크인 PersonQA 테스트에서, gpt-oss-20B는 질문의 53%에 달하는 비율로 환각을 일으켰습니다. 인물 정보나 사실 관계를 묻는 용도로 쓰면 절반 이상 오답을 낸다는 뜻입니다.

따라서 백과사전식 검색 용도로는 피해야 하며, 철저하게 스크립트 작성 및 도구 실행 제어용으로 쓰는 것이 맞습니다.

설치 및 실행 방법

설치는 매우 간단하며 두 가지 방법 중 편한 방식을 고르면 됩니다.

첫 번째는 CLI 도구인 Foundry Local입니다. 윈도우 터미널에서 winget install Microsoft.FoundryLocal 명령어로 설치한 뒤, foundry model run gpt-oss-20B 를 입력하면 모델 다운로드부터 실행까지 즉시 이뤄집니다.

두 번째는 Visual Studio Code 환경입니다. VS Code에서 AI Toolkit 확장 프로그램을 설치하고, Model Catalog에서 gpt-oss-20B를 찾아 내려받은 뒤 Model Playground에서 프롬프트를 바로 테스트할 수 있습니다.

테스트가 끝나면 Foundry Local SDK를 통해 자체 앱에 바로 연결할 수 있습니다. 마이크로소프트는 추후 macOS 등 타 기기 지원도 추가할 계획입니다.

왜 중요한가

16GB VRAM을 갖춘 대중적인 하드웨어에서 도구 호출에 특화된 추론 모델을 완전히 오프라인으로 굴릴 수 있게 되었다는 점이 핵심입니다. 기존 소형 모델들이 에이전트 단계에서 쉽게 꼬였던 문제를 감안하면 실용성이 크게 올랐습니다.

인물 지식에 환각이 심하다는 명확한 한계가 있지만, 로컬 자동화 스크립트나 코드 보조용으로 프라이빗 환경을 꾸리려는 개발자라면 지금 즉시 테스트해 볼 가치가 충분합니다.