코사인, AI 소프트웨어 엔지니어 '지니' 공개: 데빈 넘어서는 코딩 성능 달성

지난 3월 자율형 AI 소프트웨어 엔지니어를 표방한 Devin이 공개되었을 때 개발자 사회는 큰 충격을 받았습니다. 하지만 그로부터 불과 5개월 만에, Y Combinator 출신 스타트업 Cosine이 Devin의 성능을 훌쩍 뛰어넘는 새로운 AI 엔지니어 Genie를 공개했습니다.

실제 오픈소스 버그 해결 능력을 평가하는 벤치마크 SWE-Bench에서 Genie는 30%의 해결률을 기록했습니다. Devin의 13.8%는 물론이고, Amazon Q나 Factory의 Code Droid가 기록한 19%를 훌쩍 웃도는 수치입니다. Cosine의 공동 창업자이자 CEO인 Alistair Pullen은 X를 통해 이 모델이 단순한 점수용이 아니라, 시작부터 인간 소프트웨어 엔지니어처럼 생각하고 행동하도록 훈련되었다고 밝혔습니다.

동료 개발자의 사고방식을 학습하다

기존의 많은 코딩 AI는 범용 언어 모델에 몇 가지 도구를 덧붙이는 방식에 의존했습니다. 반면 Cosine은 실제 개발자가 일하는 방식을 그대로 모방하는 데 집중했습니다.

Cosine은 약 1년에 걸쳐 실제 엔지니어들의 소프트웨어 개발 활동을 추적한 독자 데이터셋을 구축했습니다. Pullen CEO는 실무에 적합한 데이터가 세상에 존재하지 않았기 때문에, 코드 산출물, 정적 분석, 셀프 플레이, 단계별 검증을 결합해 수십억 토큰 규모의 데이터 파이프라인을 직접 만들었다고 설명했습니다.

기반 모델 역시 특별합니다. Genie는 OpenAI의 실험적 프로그램을 통해 제공받은 미공개 GPT-4o 변형 모델을 기반으로 파인튜닝되었습니다. 이는 최근 OpenAI가 제한적으로 공개한 최대 64,000 토큰 출력 모델과 관련된 것으로 추정되며, 기존 4,000 토큰에 비해 출력이 16배나 늘어나 복잡한 엔드투엔드 코드를 한 번에 생성하고 수정할 수 있습니다.

Genie는 파이썬, 타입스크립트, 러스트, Go 등 15개 프로그래밍 언어를 지원합니다. 단순 코드 작성을 넘어 Slack 알림으로 진행 상황을 알리고, 모호한 요구사항은 직접 질문을 던지며, GitHub PR 리뷰 코멘트에도 스스로 답변합니다. 생성된 코드는 사용자의 GitHub 저장소에만 보관되어 보안 우려도 낮췄습니다. 현재는 초대 기반의 비공개 베타로 운영 중입니다.

왜 중요한가

우리는 Genie가 초장문 출력 모델과 특화 데이터셋의 결합이 자율 에이전트의 실질적 성능을 어디까지 끌어올릴 수 있는지 보여준 중요한 사례라고 봅니다.

개발자 입장에서 AI는 이제 단순 자동 완성을 넘어, 기능 단위의 일감을 넘겨받는 단계로 진화하고 있습니다. 특히 Slack으로 질문을 던지고 PR 피드백을 반영하는 협업 방식은 실제 개발 현장의 병목을 정확히 짚어낸 똑똑한 설계입니다. 테스트가 순조롭게 이어진다면 1인 창업자나 소규모 팀에게는 상시 대기하는 믿음직한 주니어 엔지니어 역할을 해줄 수 있습니다.

업계 관점에서는 Devin으로 시장을 선점했던 Cognition에 강력한 경고등이 켜졌습니다. 대형 모델 제조사인 OpenAI가 특정 버티컬 스타트업과 손잡고 미공개 모델을 테스트하며 피드백을 흡수하는 협업 모델이 자리를 잡아가고 있음을 보여주기도 합니다.

하지만 30%라는 수치는 여전히 70%의 문제에서는 실패한다는 뜻이기도 합니다. AI가 복잡한 아키텍처에서 엉뚱한 방향으로 코드를 작성해 둘 경우, 이를 검토하고 수습하는 데 더 많은 시간이 들어갈 위험이 있습니다. Genie가 연구실 밖의 복잡한 레거시 코드에서도 제 몫을 해낼지는 공개 테스트가 본격화된 뒤 냉정하게 지켜볼 필요가 있습니다.