깃허브, 오픈소스 위한 무료 추론 API 출시: OpenAI 규격 호환

흥미로운 오픈소스 AI 프로젝트를 내려받아 실행하자마자 API 키를 입력하라는 에러를 마주하면 대부분의 사용자는 그 자리에서 창을 닫아버립니다.

사용자나 외부 기여자에게 유료 대형언어모델(LLM) API 키를 요구하는 방식은 오픈소스 도입을 가로막는 가장 큰 걸림돌입니다. 그렇다고 모델 가중치를 직접 내려받아 로컬에서 돌리자니 PC 메모리가 부족하고, 14GB 컨테이너를 쓰는 깃허브 액션 러너 환경에서도 감당하기 어렵습니다.

깃허브는 공식 블로그를 통해 이러한 진입 장벽을 없애기 위한 대안으로 깃허브 모델(GitHub Models) 활용법을 제시했습니다.

깃허브 토큰 하나로 끝나는 모델 추론

깃허브 모델은 널리 쓰이는 오픈AI의 chat/completions 규격과 완전히 호환되는 REST 엔드포인트를 제공합니다.

GPT-4o, DeepSeek-R1, Llama 3 등 주요 모델이 호스팅되어 있어, 깃허브 개인 액세스 토큰(PAT)만 있으면 별도의 SDK나 서드파티 클라우드 계정 없이 바로 호출할 수 있습니다. 엔드포인트 URL만 바꾸면 기존 오픈AI 파이썬 및 자바스크립트 SDK나 랭체인 코드를 그대로 사용할 수 있습니다.

가장 돋보이는 부분은 깃허브 액션 기반의 CI/CD 워크플로와의 결합입니다.

기존에는 AI 기반 액션을 쓰려면 리포지토리 설정에서 일일이 시크릿에 API 키를 등록해야 했습니다. 이제는 워크플로 파일에서 기본 GITHUB_TOKEN에 models: read 권한만 추가하면 추가 설정 없이 즉시 모델을 불러옵니다.

이를 통해 풀 리퀘스트 자동 요약, 이슈 태그 분류, 주간 리포지토리 리포트 생성 같은 자동화 도구를 누구나 클릭 한 번으로 배포하고 실행할 수 있게 됩니다.

개인 계정과 오픈소스 조직에는 무료 티어가 제공되며, 사용량이 늘어나면 조직 설정에서 유료 티어로 전환해 처리량과 128k 컨텍스트 창, 전용 배포 환경을 확보할 수 있습니다.

왜 중요한가

오픈소스 프로젝트 관리자에게 온보딩 장벽 제거는 프로젝트의 성패를 가르는 요소입니다. 사용자가 지갑을 열지 않고도 설치 직후 결과물을 확인할 수 있다는 점만으로도 신규 기여자를 끌어들이는 데 매우 유리합니다.

업계 관점에서 보면 마이크로소프트와 깃허브의 노림수가 분명히 드러납니다. 무료 추론 인프라를 기본 제공함으로써 AI 개발 생태계의 실행 환경을 깃허브 플랫폼 안으로 완전히 묶어두려는 전략입니다.

무료 접근성을 앞세워 개발자들의 워크플로를 장악하는 방식은 매우 영리하지만, 플랫폼 종속이라는 위험도 따릅니다. 무료 티어의 호출 한도를 넘어서면 결국 유료 서비스로 유도되며, 깃허브가 제공하는 모델 목록과 정책 변화에 프로젝트 전체가 영향을 받을 수밖에 없습니다.