Ornith-1.5 공개: 스스로 과제 만들어 훈련, 397B는 Opus 4.8과 대등

Ornith-1.5는 스스로 문제를 출제하고 평가 환경을 구축해 강화학습하는 자기 개선 방식의 오픈소스 AI 모델 제품군이다. Qwen3.5 및 Gemma 4를 기반으로 추가 사전학습과 사후학습을 거쳤으며, 397B MoE, 35B MoE, 9B Dense 세 가지 크기로 공개되었다.

플래그십 모델인 Ornith-1.5-397B는 핵심 코딩 벤치마크에서 상용 폐쇄형 모델인 Claude Opus 4.8과 대등한 점수를 기록했다. 가장 작은 9B 모델은 양자화 버전인 Ornith-1.5-9B-Mobile을 통해 아이폰과 안드로이드 스마트폰에 직접 올려 구동할 수 있다.

스스로 과제와 채점기를 만드는 자기 개선 루프

기존 강화학습은 사람이 만든 고정된 문제 풀에 의존하는 한계가 있었다. Ornith-1.5는 과제 생성, 작업 스캐폴드 및 하네스 구축, 설루션 탐색을 하나의 닫힌 루프로 연결해 이를 돌파했다.

각 훈련 주기마다 모델은 코드베이스와 이전 해결 기록을 바탕으로 현재 자신의 한계를 살짝 넘어서는 과제를 스스로 제안한다. 생성된 과제는 유효성, 프론티어 난이도, 다양성 신호로 평가된다. 연구진은 성공률이 20% 안팎에 머무는 과제에 가장 높은 보상을 주도록 설계해, 너무 쉽지도 불가능하지도 않은 난이도를 유지하게 만들었다.

이어 과제에 맞는 도구 호출 규칙과 채점용 하네스를 모델이 직접 생성하며, 이후 실행된 설루션의 성패에 따라 GRPO 알고리즘으로 과제 생성기와 평가기, 해결 정책을 한 번에 공동 최적화한다.

9B 모바일 구동부터 397B 플래그십 성능까지

벤치마크 전반에서 Ornith-1.5는 인상적인 결과를 보여준다.

397B 모델은 Terminal-Bench 2.1 Terminus-2에서 86.1점, DeepSWE 56.0점, SWE-bench Verified 86.0점을 기록했다. 이는 Claude Opus 4.8과 사실상 대등하며 오픈소스 경쟁 모델인 GLM-5.2와 DeepSeek-V4-Flash-0731을 앞서는 수치다.

토큰당 3B 파라미터만 활성화되는 35B MoE 모델은 Terminal-Bench 2.1 Claude Code 기준 68.5점, SWE-bench Verified 79.0점을 기록해 동급의 Qwen 3.6-35B는 물론 Gemma 4-31B와 Muse Glimmer-30B 같은 30B급 조밀 모델들을 큰 격차로 제쳤다.

9B 모델 역시 Terminal-Bench 2.1에서 47.0점, SWE-bench Verified에서 70.6점을 기록하며 체급을 뛰어넘는 추론 능력을 나타냈다.

왜 중요한가

우리는 Ornith-1.5가 고정된 정적 데이터셋 없이도 모델 스스로 환경과 과제를 확장하며 성능을 끌어올릴 수 있음을 입증한 훌륭한 사례라고 본다.

온디바이스 코딩 비서나 로컬 에이전트를 개발하려는 엔지니어라면 스마트폰에서 바로 구동 가능한 9B-Mobile 모델을 우선 테스트해 볼 가치가 충분하다. 다만 모델 스스로 채점 환경을 만드는 구조 특성상 보상 해킹이나 편향된 평가가 발생할 가능성이 있으므로, 실제 서비스 배포 시에는 엄격한 안전성 검증이 뒤따라야 한다.