오픈AI, 오픈 추론 모델 'gpt-oss' 공개…온디바이스 구동 지원

gpt-oss는 오픈AI가 아파치 2.0 라이선스로 내놓은 오픈 가중치 추론 모델 제품군입니다. 120b와 20b 두 가지 크기로 출시되었으며, 오픈AI가 오픈 가중치 언어 모델을 공개한 것은 GPT-2 이후 처음입니다.

API 호출 없이도 자체 하드웨어에서 완전한 사고 과정(CoT)과 파이썬 코드 실행, 웹 검색 등 도구 호출 기능을 직접 실행할 수 있습니다. 정형화된 출력(Structured Outputs)도 기본 지원합니다.

무엇을 할 수 있나

두 모델 모두 전문가 혼합(MoE) 구조를 사용합니다. 총 파라미터는 각각 117b와 21b이지만, 토큰당 실제 활성화되는 파라미터는 5.1b와 3.6b에 불과해 연산 효율이 높습니다. 기본 128k 컨텍스트 길이를 지원합니다.

gpt-oss-120b는 코딩, MMLU 등 핵심 벤치마크에서 오픈AI o4-mini와 대등하거나 앞서며, AIME 수학 경시대회와 HealthBench 의료 평가에서는 o4-mini를 제쳤습니다.

gpt-oss-20b 역시 소형 크기임에도 주요 테스트에서 o3-mini 수준을 기록했으며, 수학과 의료 분야에서는 오히려 더 나은 성적을 냈습니다. API의 o 시리즈처럼 시스템 메시지 한 줄로 추론 강도를 low, medium, high 3단계로 조절할 수 있습니다.

어떻게 구동하나

가중치는 허깅페이스에서 무료로 내려받을 수 있으며, MXFP4 포맷으로 사전 양자화되어 제공됩니다.

gpt-oss-20b는 16GB 메모리만 있으면 실행할 수 있어 일반 PC나 온디바이스 환경에 적합합니다. 마이크로소프트는 ONNX Runtime 기반으로 윈도우 최적화 버전을 제공해 VS Code 등에서 바로 쓸 수 있도록 지원합니다. gpt-oss-120b는 80GB GPU 1장으로 단독 구동됩니다.

Ollama, llama.cpp, vLLM, LM Studio 등 주요 런타임이 출시와 동시에 지원을 시작했습니다. 오픈AI는 o200k_harmony 토크나이저와 파이썬 및 러스트용 렌더러, PyTorch 및 애플 Metal 레퍼런스 코드도 함께 배포했습니다.

학습 데이터가 STEM과 코딩 위주의 영문 텍스트 중심이어서 멀티모달 입력은 지원하지 않습니다. 허깅페이스에서 가중치를 받거나 공식 오픈 모델 플레이그라운드에서 바로 시험해볼 수 있습니다.

왜 중요한가

데이터 유출 걱정 없이 사내나 로컬 기기에서 자율 에이전트를 돌리려는 개발자에게 매우 강력한 도구입니다. 16GB 메모리 환경에서 o3-mini급 추론 성능을 낼 수 있다는 점만으로도 도입 가치는 충분합니다.

오픈AI가 고성능 추론 모델을 아파치 2.0으로 푼 만큼, 오픈 가중치 생태계 전반의 추론 모델 경쟁을 크게 자극할 것으로 보입니다. 다만 텍스트 전용이자 영어 중심이라는 명확한 한계가 있어, 비영어권 및 멀티모달 작업에서는 여전히 기존 API 모델과 병행해야 할 것입니다.