마이크로소프트, Windows ML 정식 출시: 온디바이스 AI 통합 추론 지원

지금까지 윈도우 앱에 온디바이스 AI 기능을 넣으려면 개발자들의 고생이 이만저만이 아니었습니다. 인텔, AMD, 엔비디아, 퀄컴 등 칩 제조사마다 다른 환경에 맞춰 코드를 따로 짜야 했고, 수십에서 수백 메가바이트에 달하는 전용 런타임 라이브러리를 설치 파일에 억지로 구겨 넣어야 했기 때문입니다.

마이크로소프트는 기기 내 AI 추론을 지원하는 내장 런타임인 'Windows ML'을 정식 출시(GA)했다고 발표했습니다. 지난 Build 2025에서 처음 공개된 이후 마침내 상용 프로덕션 환경에 배포할 수 있는 상태가 된 것입니다.

설치 파일 용량은 줄이고, 칩 파편화는 OS가 해결

Windows ML은 하드웨어와 애플리케이션 사이에서 추상화 계층 역할을 합니다. ONNX Runtime(ORT)과 완벽히 호환되기 때문에 기존 ORT API와 ONNX 모델을 그대로 사용할 수 있으며, PyTorch 모델도 VS Code용 AI Toolkit을 통해 손쉽게 변환할 수 있습니다.

개발자 입장에서 가장 체감되는 변화는 배포의 간소화입니다. 각 반도체 제조사가 만든 실행 공급자(Execution Provider, EP)의 배포와 업데이트를 윈도우 운영체제가 직접 도맡아 처리합니다. 사용자 하드웨어를 감지해 필요한 구성 요소를 동적으로 내려받기 때문에, 개발자가 무거운 런타임을 앱 패키지에 포함할 필요가 없어 앱 용량을 수십에서 수백 메가바이트까지 절약할 수 있습니다.

하드웨어 제조사들의 지원도 본격화되었습니다. AMD는 라이젠 AI 플랫폼에 맞춘 Vitis AI EP를 제공하고, 인텔은 OpenVINO 프레임워크를 연동해 코어 Ultra PC에 최적화했습니다. 퀄컴은 스냅드래곤 X 시리즈의 NPU를 겨냥한 QNN EP를 선보이며 차세대 스냅드래곤 X2 지원까지 예고했습니다. 엔비디아 역시 전용 TensorRT for RTX EP를 내놓으며 DirectML 대비 추론 속도를 50% 이상 끌어올렸다고 밝혔습니다. 개발자는 NPU 기반의 저전력 모드나 GPU 기반의 고성능 모드 중 원하는 실행 정책을 손쉽게 지정할 수 있습니다.

어도비부터 보안 프로그램까지 빠르게 온디바이스 전환

상용 소프트웨어 생태계의 합류도 빠릅니다.

어도비는 프리미어 프로와 애프터 이펙트에 Windows ML을 도입해 미디어 라이브러리 시맨틱 검색, 오디오 유형 태깅, 장면 편집 감지 기능을 로컬 NPU로 가속할 예정이며, 기존 온디바이스 모델도 순차적으로 전환할 계획입니다. 원더쉐어의 영상 편집기 필모라는 NPU를 활용해 네온 링이나 파티클 같은 신체 효과를 실시간으로 렌더링합니다.

보안과 개인정보 보호 영역에서도 온디바이스 AI가 힘을 발휘하고 있습니다. 맥아피는 딥페이크 영상과 사기 공격을 로컬에서 실시간 탐지하고, 버퍼존은 민감한 웹 데이터를 클라우드로 전송하지 않고 기기 내에서 피싱 위험을 분석합니다. 이 밖에도 웹캠 품질을 개선하는 카모, 의료 환경에서 오프라인 음성 인식을 지원하는 닷 비스타, 사진 복원 툴인 토파즈 포토 등이 적용에 나섰습니다.

왜 중요한가

우리는 Windows ML의 정식 출시가 AI PC 경쟁의 초점을 단순한 'NPU 스펙 자랑'에서 '실질적인 소프트웨어 인프라 완성'으로 옮겨놓았다고 봅니다. 그동안 제조사들이 제아무리 높은 TOPS 수치를 외쳐도, 칩마다 개발 방식이 갈리는 탓에 서드파티 개발사들이 로컬 AI 기능을 적극적으로 도입하기에는 위험 부담이 너무 컸습니다.

새로운 독자 규격을 강요하지 않고 업계 표준에 가까운 ONNX 생태계를 그대로 품으면서, 칩 제조사들이 직접 EP를 관리하게 만든 마이크로소프트의 전략은 영리합니다. 개발자는 설치 파일 크기를 크게 줄이면서 단일 빌드로 수많은 윈도우 기기에 대응할 수 있으므로, 데스크톱 앱을 운영 중이라면 지금 바로 로컬 AI 기능을 테스트해 볼 가치가 충분합니다.

물론 칩 제조사마다 EP의 완성도와 최적화 수준이 달라 실제 사용자 환경에서 추론 결과의 정확도나 안정성에 편차가 생길 수 있다는 점은 해결해야 할 숙제입니다. 그럼에도 애플의 Core ML에 맞설 수 있는 강력한 온디바이스 표준이 윈도우 진영에 구축되었다는 점에서, 데스크톱 소프트웨어의 온디바이스 AI 전환은 한층 가속화될 것으로 보입니다.