인셉션 랩스, 확산 모델 기반 Mercury Coder 공개: 초당 1000토큰 돌파

미드저니나 소라로 이미지를 만들 때, 화면 가득한 노이즈가 몇 번의 정제 과정을 거치며 선명한 그림으로 바뀌는 모습은 익숙하다.

하지만 언어 모델은 달랐다. 지난 몇 년간 모든 대형 언어 모델은 타자기처럼 왼쪽에서 오른쪽으로 한 글자씩 순차적으로 단어를 찍어내는 '자기회귀(autoregressive)' 방식을 고수해 왔다. 이 순차 생성 방식은 모델 추론 속도를 늦추는 가장 큰 병목이었다.

스탠퍼드대 스테파노 에르몬 교수가 설립한 인셉션 랩스가 이 판을 흔들기 시작했다. 텍스트 생성에 확산(diffusion) 기법을 도입한 최초의 상용 언어 모델 'Mercury Coder'를 발표한 것이다. 엔비디아 H100에서 초당 1,000개 이상의 토큰을 쏟아낸다.

한 글자씩 쓰는 대신 통째로 깎아낸다

기존 모델이 문장을 단어 단위로 이어 붙였다면, Mercury Coder는 전체 코드 시퀀스를 한꺼번에 다룬다.

완전한 노이즈 상태에서 시작해 거친 형태를 잡은 뒤, 점진적으로 노이즈를 제거하며 정교한 코드로 다듬어가는 방식이다. 시퀀스 전체를 병렬로 처리하기 때문에 GPU의 연산 능력을 온전히 활용할 수 있다.

인셉션 랩스는 이 방식을 통해 기존 접근법보다 처리 속도를 최대 10배 끌어올렸고, 추론 비용 역시 대폭 절감했다고 설명한다.

초기 벤치마크 결과에 따르면, Mercury Coder의 코딩 성능은 GPT-4o 미니나 클로드 3.5 하이쿠, 제미나 2.0 플래시 라이트와 대등한 수준을 기록하면서도 응답 지연 시간은 훨씬 짧았다.

전용 칩 없이 H100에서 초당 1000토큰

초당 1,000토큰이라는 수치는 그동안 그록(Groq)이나 세레브라스 같은 고가의 특수 AI 추론 가속기를 써야만 구경할 수 있던 속도다.

Mercury Coder는 이를 널리 쓰이는 일반 엔비디아 H100 GPU에서 구현해 냈다. 전 오픈AI 연구원 안드레이 카파시는 X를 통해 이미지와 영상이 확산 모델을 표준으로 받아들이는 동안 왜 텍스트만 자기회귀 방식을 고집해 왔는지는 오랜 미스터리였다며, 이번 모델이 텍스트 생성의 새로운 강점과 특성을 보여줄 수 있다고 평가했다.

현재 누구나 chat.inceptionlabs.ai의 플레이그라운드에서 직접 사용해 볼 수 있으며, 우측 사이드바에서 생성된 코드를 인터랙티브하게 미리 볼 수 있다. 기업 고객을 위한 미니와 스몰 모델 API 및 온프레미스 배포 신청도 열렸고, 대화형 모델은 비공개 베타를 진행 중이다.

왜 중요한가

우리는 Mercury Coder가 텍스트 생성 분야의 오랜 고정관념에 균열을 냈다는 점에 주목한다.

개발자와 기업 입장에서 즉각적인 지연 시간 단축은 체감 가치가 매우 크다. 실시간 코드 자동완성, 즉각적인 응답이 필요한 고객 지원, 백오피스 자동화 에이전트 환경에서 속도는 곧 사용성이다. 기존 인프라를 그대로 쓰면서 10배 빠른 속도와 저렴한 비용을 얻을 수 있다면 마다할 이유가 없다.

산업적으로는 값비싼 전용 추론 칩 생태계에 경종을 울리는 움직임이다. 알고리즘 구조를 바꾸는 것만으로 범용 GPU에서 전용 칩급의 퍼포먼스를 낼 수 있음을 입증했기 때문이다.

다만 수천 줄 이상의 복잡한 로직이 얽힌 엔지니어링 환경에서도 확산 모델이 자기회귀 모델만큼 논리적 인과관계를 빈틈없이 유지할 수 있을지는 더 지켜봐야 한다. 하지만 한 가지는 분명하다. 언어 모델의 아키텍처 경쟁이 완전히 새로운 국면에 접어들었다.