MS, MAI-Code-1.1-Flash 공개…깃허브 코파일럿 비용 75% 절감

AI 코딩 도구는 편리하지만, 개발자와 서비스 운영사 모두에게 감당하기 힘든 인프라 비용 청구서를 안겨주곤 했습니다.

마이크로소프트는 깃허브 코파일럿의 새로운 생산용 코딩 모델인 'MAI-Code-1.1-Flash'를 공개했습니다. 지난 6월 빌드(Microsoft Build) 행사에서 처음 공개된 1.0 버전을 대체하는 가볍고 민첩한 작업용 모델입니다.

가장 눈에 띄는 변화는 가격입니다. 기존 모델 대비 추론 비용을 75%나 절감해 4분의 1 수준으로 낮췄습니다. 동시에 토큰 출력 속도는 25% 빨라졌고, 동일한 작업을 끝마치는 데 소비하는 토큰 양도 25% 줄어들었습니다.

현장 피드백으로 완성한 CLI와 .NET 성능

단순 벤치마크 점수 올리기보다 현장 개발자들의 실제 불만을 해결하는 데 주력했습니다.

마이크로소프트는 개발자들의 피드백을 반영해 커맨드라인 인터페이스(CLI)와 .NET 성능 최적화에 집중했습니다. 그 결과 깃허브 코파일럿 CLI 내 Terminal-Bench 2.1 점수가 22% 급등했고, .NET 관련 작업 성능도 15% 향상되었습니다. 모델 학습에는 코파일럿 내부의 수십만 개 강화학습 환경이 투입되었습니다.

실제 프로덕션 지표 역시 뚜렷하게 개선되었습니다. AI가 생성한 코드가 삭제되지 않고 유지되는 '코드 생존율'이 4% 올랐고, 개발자의 재방문율도 9% 증가했습니다.

256K 문맥 유지한 온디바이스 구동, 추론 비용 '0원'

더 흥미로운 점은 온디바이스 하드웨어 지원입니다.

마이크로소프트는 3비트 양자화 기술을 적용해 256K에 달하는 거대한 컨텍스트 창을 유지하면서도 모델의 메모리 요구량을 대폭 낮췄습니다. SWE-Bench Verified와 Terminal-Bench 2.1 테스트 결과, 풀 정밀도 모델과 대등한 성능을 보였습니다.

이를 통해 코파일럿 라우터가 온디바이스 옵션을 활용할 수 있게 되었습니다. 간단한 코딩 작업은 사용자 로컬 PC에서 무료로 처리하고, 고난도 추론이 필요할 때만 클라우드 모델을 호출하는 하이브리드 방식입니다. 다만 로컬 최적 구동을 위해 120GB 이상의 RAM을 권장하며, 이달 말까지 코파일럿 앱과 CLI, VS Code에 실험적 기능으로 순차 적용될 예정입니다.

왜 중요한가

현업 개발자 입장에서는 작업 지연 시간이 25% 줄어들고 불필요한 토큰 낭비가 사라져 생산성 체감이 큽니다. 고사양 워크스테이션을 갖춘 조직이라면 추론 비용 없이 256K 문맥을 로컬에서 안전하게 활용할 수 있는 길이 열렸습니다.

마이크로소프트 입장에서도 영리한 수익성 방어 전략입니다. 구독형 모델인 깃허브 코파일럿은 사용량이 늘어날수록 서버 비용 부담이 가중됩니다. 추론 단가를 75% 낮추고 일상적 워크로드를 사용자의 로컬 하드웨어로 분산시키면, 구독료를 올리지 않고도 막대한 인프라 마진을 확보할 수 있습니다.

결국 무작정 거대 모델을 돌려 모든 코드를 완성하던 시기는 지나가고 있습니다. 비용을 극한으로 낮춘 소형 모델과 온디바이스 하이브리드 라우팅의 결합이야말로 차세대 AI 개발 도구의 핵심 승부처가 될 것으로 보입니다.