AI 스타트업 딥 코기토, 오픈소스 하이브리드 추론 모델 '코기토 v1' 공개

코기토 v1은 오픈에이아이의 o 시리즈나 딥시크 R1 같은 단계별 추론 능력을 사용자가 직접 돌려볼 수 있는 가벼운 크기로 구현한 오픈소스 언어 모델 제품군입니다.

모델 크기는 3B, 8B, 14B, 32B, 70B 등 5가지로 구성됩니다. 일반적인 질문에는 즉각 답을 내놓고, 복잡한 과제에는 스스로 생각을 검토하며 답을 도출하는 하이브리드 추론 방식을 지원합니다.

작동 방식과 특징

거대 교사 모델의 답변을 단순 복제하는 기존 증류 방식과 달리, 딥 코기토는 반복 증류 및 증폭(IDA)이라는 자체 훈련 기법을 도입했습니다.

모델 생성 단계에 연산량을 추가로 투입해 정교한 해결책을 찾아내도록 한 뒤, 그 추론 과정을 다시 모델 본래의 파라미터로 증류해 흡수시키는 구조입니다. 연구진은 이를 자연어 분야에 적용한 알파고의 셀프 플레이 방식에 비유합니다.

베이스 모델로는 메타의 라마와 알리바바의 큐원 2.5를 활용했습니다. 라마 라이선스 규정을 따르므로 월간 활성 사용자 7억 명 미만의 상용 서비스라면 무료로 제품에 도입할 수 있습니다.

벤치마크 성과와 수학적 한계

추론 모드를 켰을 때의 성능 향상은 뚜렷합니다. 가장 작은 코기토 3B의 경우 MMLU 점수가 일반 모드의 65.4%에서 추론 모드 시 72.6%로 오르며 기본 라마 3.2 3B를 크게 앞섭니다.

코기토 70B 표준 버전 역시 MMLU에서 91.7%를 기록해 라마 3.3 70B의 85.3%는 물론 109B 규모의 라마 4 스카우트 종합 점수마저 넘어섰습니다.

실무 관점에서 돋보이는 부분은 네이티브 도구 호출 기능입니다. 본래 도구 호출을 지원하지 않던 라마 3.2 3B와 달리, 코기토 3B는 복수 도구 호출과 병렬 호출을 지원하며 91% 이상의 성공률을 보입니다. 코기토 8B 역시 모든 도구 호출 테스트에서 89% 이상의 높은 정확도를 기록했습니다.

다만 수학 능력에는 분명한 약점이 있습니다. 추론 특화 모델인 딥시크 R1 계열과 비교하면, 코기토 8B는 MATH 벤치마크에서 60.2%에 그쳐 딥시크 R1 증류 8B의 80.6%에 한참 못 미칩니다. 코기토 70B 추론 모드 역시 MATH에서 83.3%를 기록해 R1의 89.0%를 넘지 못했습니다.

사용 방법과 지원 플랫폼

코기토 v1 모델 가중치는 허깅페이스와 올라마에 모두 공개되었습니다. 엔비디아 그래픽카드나 애플 실리콘을 탑재한 PC를 쓰는 개발자라면 올라마를 통해 3B나 8B 모델을 손쉽게 로컬에서 구동해볼 수 있습니다.

직접 배포하지 않고 클라우드를 쓰려면 파이어웍스와 투게더 AI의 API를 통해 연동할 수 있습니다. 회사는 향후 최대 671B 크기의 전문가 혼합(MoE) 모델도 순차 공개할 계획입니다.

왜 중요한가

기기 내부에서 단독으로 작동하며 도구 호출과 검증 과정을 수행해야 하는 온디바이스 에이전트를 개발 중이라면, 코기토 v1은 테스트해볼 가치가 충분합니다. 소형 모델에서 아쉬웠던 에이전트 연동성을 크게 끌어올렸기 때문입니다.

순수 수학 연산이 많은 작업에서는 여전히 딥시크 R1이 우세하지만, 대형 교사 모델에만 기대지 않고 자체적인 추론 증폭을 통해 소형 오픈 모델의 한계를 넓혔다는 점에서 의미가 있습니다.