OpenAI 호환 규격: Nous Research, Hermes 3 추론 API 출시

빅테크 AI의 지나친 검열과 거절 응답에 지친 개발자들에게 대안으로 꼽히던 오픈소스 모델이 클라우드 API로 나왔습니다.

뉴욕 기반의 오픈소스 AI 집단 Nous Research가 자사 언어 모델을 클라우드 환경에서 바로 호출할 수 있는 추론 API를 공식 출시했습니다.

OpenAI 규격 호환과 두 가지 핵심 모델 제공

이번 API를 통해 먼저 공개된 모델은 두 가지입니다. Meta의 Llama 3.1을 기반으로 미세조정한 범용 플래그십 모델 Hermes 3 Llama 70B와, 지난달 출시된 추론 특화 모델 DeepHermes-3 8B Preview입니다. DeepHermes-3는 시스템 프롬프트를 통해 간결한 답변과 상세한 생각의 사슬(CoT) 추론 과정을 자유롭게 오갈 수 있습니다.

개발자들의 편의를 위해 API 구조는 OpenAI의 completions 및 chat completions 호출 규격을 그대로 따랐습니다. 기존에 GPT 모델을 연동해 둔 코드라면 엔드포인트 주소만 바꿔서 바로 테스트해 볼 수 있는 구조입니다.

현재는 대규모 트래픽을 감당하기 위해 선착순 대기자 명단(Waitlist) 방식으로 접근 권한을 순차 부여하고 있습니다. 새 계정을 만든 사용자에게는 테스트용으로 5달러 상당의 무료 크레딧이 지급됩니다.

깃허브 오픈소스 배포에서 클라우드 비즈니스로의 전환

2023년 설립된 Nous Research는 OpenAI나 Anthropic 같은 대형 테크 기업의 폐쇄적이고 엄격한 통제에 반대하며 자유롭고 개방적인 AI를 지향해 왔습니다. 2023년 7월 이후 모델, 논문, 코드, 데이터셋 등 총 29개의 연구 결과물을 오픈소스로 꾸준히 공개했습니다.

4개월 전 웹 기반 챗봇 인터페이스인 Nous Chat을 선보인데 이어, 이번 API 출시는 모델 가중치만 제공하던 단계에서 상용 추론 서비스로 영역을 넓히는 중요한 분기점입니다. 그동안 로컬 PC나 자체 클라우드 인프라에 모델을 내려받아 돌리느라 많은 비용과 수고를 들여야 했던 연구자들의 진입 장벽을 대폭 낮췄습니다. 통제 없는 자유를 표방하지만, 유해한 출력을 막는 최소한의 안전장치는 포함되어 있습니다.

왜 중요한가

빅테크의 엄격한 가드레일에 가로막혀 창작 도구나 특화 에이전트 개발에 한계를 느끼던 개발자들에게 이 API는 매우 실용적인 탈출구입니다. 비싼 GPU 서버를 직접 구축하지 않고도 5달러 무료 크레딧을 이용해 프로덕션 적합성을 바로 검증해 볼 수 있습니다.

우리는 Nous Research의 이번 행보가 오픈소스 연구 그룹의 지속 가능한 생존 모델을 보여주는 영리한 선택이라고 봅니다. 모델 가중치는 계속 무료로 공개해 개발자 커뮤니티의 지지를 유지하면서, 인프라 운영의 편리함을 상품화해 수익을 내는 현실적인 전략이기 때문입니다. OpenAI API 포맷을 그대로 차용한 것도 전환 장벽을 허무는 데 주효했습니다.

하지만 대규모 GPU 자원을 가진 거대 기업과 달리 인프라 공급 여력이 제한적이라는 점은 분명한 한계입니다. 대기자 명단 시스템이 보여주듯, 향후 동시 요청이 몰렸을 때 서비스 안정성과 응답 속도를 유지할 수 있을지가 실제 상용 서비스 도입의 핵심 관건이 될 것으로 보입니다.