인셉션 랩스, 확산 모델 기반 Mercury Coder 공개: 초당 1000토큰 돌파
인셉션 랩스가 텍스트를 순차적으로 생성하지 않고 이미지처럼 확산 기법으로 병렬 생성하는 언어 모델 Mercury Coder를 공개했다. 엔비디아 H100에서 초당 1,000개 이상의 토큰을 출력하며 GPT-4o 미니급 성능을 내면서도 속도는 최대 10배 빠르다. 전용 가속기 없이도 추론 지연과 비용을 대폭 낮출 수 있는 새로운 대안이다.
인셉션 랩스가 텍스트를 순차적으로 생성하지 않고 이미지처럼 확산 기법으로 병렬 생성하는 언어 모델 Mercury Coder를 공개했다. 엔비디아 H100에서 초당 1,000개 이상의 토큰을 출력하며 GPT-4o 미니급 성능을 내면서도 속도는 최대 10배 빠르다. 전용 가속기 없이도 추론 지연과 비용을 대폭 낮출 수 있는 새로운 대안이다.