Ricursive, Ripple-65B 공개: 수천억 MoE 모델 넘은 65B 고밀도 모델

요즘 대형 언어 모델 업계는 대부분 MoE(혼합 전문가) 구조에 몰두하고 있습니다. 총 매개변수를 수천억 개로 늘려놓고, 추론할 때는 일부 전문가만 활성화해 비용을 아끼겠다는 전략입니다.

전직 구글 연구원들이 설립한 Ricursive Intelligence는 정반대 선택을 내렸습니다. 100만 토큰 컨텍스트를 지원하는 65B 순수 고밀도(Dense) 트랜스포머 모델인 Ripple-65B Preview를 Apache 2.0 라이선스로 오픈소스 공개했습니다. 에이전트 코딩 벤치마크에서는 자기보다 10배 이상 거대한 오픈 가중치 MoE 모델들을 정면으로 제쳤습니다.

5명의 팀과 3200만 달러로 거둔 성과

Ripple-65B는 Ricursive가 자체 AI 반도체 설계 플랫폼을 구동하기 위해 개발한 모델로, 이번에 선보인 것은 범용 프리뷰 버전입니다.

가장 눈길을 끄는 부분은 개발 비용입니다. 최전선 모델 학습 비용이 수억에서 10억 달러에 달한다는 말이 나오는 시대에, Ricursive는 바닥부터 모델 래더 개발, 데이터 믹싱, 합성 데이터 파이프라인, 강화학습까지 총 3200만 달러로 해결했습니다.

개발 인력 역시 초기 1명에서 최종 5명으로 늘어난 작은 팀이었습니다. 이들은 12조 개 토큰을 사용해 스크래치부터 사전 학습을 진행했고, 복잡한 커스텀 커널이나 양자화 없이 표준 BF16과 단순 샤딩만으로 40%의 모델 연산 활용도(MFU)를 유지했습니다.

65B 고밀도 모델이 거대 MoE를 이긴 비결

MoE는 이론상 활성 파라미터가 적지만, 분산 통신과 서빙 인프라가 극도로 복잡해지는 단점이 있습니다.

Ricursive는 이를 피해 좁고 깊은(thin-and-deep) 고밀도 구조를 택했습니다. 은닉층 차원을 5120으로 줄인 대신 80개 레이어를 쌓았고, Gemma 3N 계열 설계를 적용해 대규모 학습 안정성을 확보했습니다. 여기에 게이티드 어텐션, 잔차 연결, FFN 활성화 클리핑, 글로벌 NoPE를 결합했습니다.

사후 학습 단계에서도 외부 상용 데이터를 구매하지 않고 자체 합성 데이터와 효율적인 강화학습 파이프라인을 구축했습니다. 강화학습 롤아웃을 단 140만 번만 수행하고도 급격한 성능 상승을 이끌어냈는데, 이는 이전 최고 기록 모델인 Reflection Beam 대비 약 70배 적은 수준입니다.

그 결과 에이전트 코딩 벤치마크인 TerminalBench 2.1에서 80.52점을 기록했습니다. 이는 501B 크기의 Reflection Beam(80.1), 816B Meta Muse Spark Open(76.4), 975B Thinking Machines Inkling(63.8), 550B NVIDIA Nemotron 3 Ultra(56.4)를 모두 앞서는 수치입니다.

기본 BF16 가중치 외에도 NVFP4 체크포인트를 함께 제공해 NVIDIA DGX Spark 같은 단일 워크스테이션급 장비에서도 구동할 수 있습니다. B200 GPU 2대 환경에서는 초당 250토큰의 생성 속도를 보입니다.

왜 중요한가

자체 인프라에서 코딩 에이전트를 직접 운영하려는 엔지니어와 기업에게 Ripple-65B는 매우 매력적인 대안입니다. 수천억 파라미터 MoE 모델은 아무리 활성 연산량이 적어도 모델 전체 가중치를 VRAM에 올려야 하므로 막대한 메모리가 필수적입니다. 반면 65B 고밀도 모델은 NVFP4 양자화를 통해 훨씬 현실적인 하드웨어 스펙으로 최상위권 코딩 능력을 확보할 수 있습니다.

업계 전반으로 봐도 시사하는 바가 큽니다. 단순히 파라미터 크기만 키우는 MoE 유행 속에서, 정교한 데이터 레시피와 탄탄한 고밀도 아키텍처가 여전히 강력한 경쟁력을 가진다는 사실을 입증했습니다. 5명 규모의 작은 연구팀이 데이터 설계와 강화학습 효율성만으로 거대 테크 기업들을 앞지를 수 있음을 보여준 셈입니다.

하드웨어와 소프트웨어를 함께 고려한 Ricursive의 엔지니어링은 매우 영리하다고 평가할 수 있습니다. 다만 고밀도 모델 특성상 토큰을 생성할 때마다 650억 개 파라미터를 전부 연산해야 하므로, 대규모 동시 접속자가 몰리는 클라우드 서비스 환경에서는 MoE보다 토큰당 연산 비용이 더 들어갈 수 있습니다. 그럼에도 로컬 구동과 단일 고난도 코딩 작업에서는 올해 가장 주목할 만한 오픈 모델 중 하나입니다.