MIT 스핀오프 리퀴드 AI, 비-트랜스포머 모델 'LFM' 공개

모두가 트랜스포머 아키텍처에 매달려 GPU 메모리를 쏟아붓고 있을 때, MIT 연구진이 완전히 다른 해법을 들고나왔습니다.

MIT 컴퓨터과학·인공지능연구소 출신 연구원들이 설립한 스타트업 Liquid AI가 비트랜스포머 기반의 독자 생성형 AI 모델인 '리퀴드 파운데이션 모델(LFM)'을 공개했습니다. 2017년 이후 업계를 지배해 온 트랜스포머 구조를 탈피한 것이 핵심입니다.

이 모델은 동적 시스템과 선형대수학, 신호 처리 이론을 결합한 리퀴드 신경망 기술을 바탕으로 개발되었습니다. 수천 개의 인공 뉴런 대신 혁신적인 수학적 공식을 적용해 훨씬 적은 자원으로도 동일하거나 더 뛰어난 연산을 수행하도록 설계되었습니다.

긴 문맥에서도 메모리를 3분의 1로 압축

Liquid AI는 이번에 기기 사양과 환경에 맞춘 세 가지 모델을 동시에 선보였습니다.

가장 작은 LFM-1B(13억 파라미터)는 자원이 극도로 제한된 환경을 위해 개발되었습니다. MMLU와 ARC-C 등의 벤치마크에서 메타의 Llama 3.2-1.2B와 마이크로소프트의 Phi-1.5를 넘어서며 1B급 모델의 새 기준을 세웠다는 평가를 받습니다.

중간 크기인 LFM-3B(31억 파라미터)는 모바일 기기, 드론, 로봇 등 엣지 배포를 목표로 합니다. 특히 긴 문맥을 처리할 때 메타의 Llama 3.2-3B가 48GB 이상의 메모리를 요구하는 작업 환경에서도 LFM-3B는 단 16GB의 메모리만으로 실행이 가능합니다.

가장 강력한 LFM-40B는 403억 파라미터 규모의 전문가 혼합(MoE) 모델로 클라우드 엔터프라이즈 환경을 겨냥했습니다. 이들 모델은 최대 100만 토큰의 문맥을 메모리 부담 없이 효율적으로 처리할 수 있다고 설명합니다.

멀티모달 시계열 처리, 가중치는 비공개

LFMs는 텍스트는 물론 오디오, 영상, 센서 신호 등 다양한 순차적 데이터를 자연스럽게 다룹니다. 금융 서비스, 바이오테크, 소비자 가전 등 실시간 데이터 처리가 필요한 산업에 적합합니다.

Liquid AI의 사후 학습 총괄인 Maxime Labonne은 X를 통해 훨씬 적은 메모리로 트랜스포머 모델을 압도했다며 자부심을 드러냈습니다. 다만 모델 가중치는 오픈소스로 공개되지 않았으며, 이용자는 공식 플레이그라운드나 람다 챗, 퍼플렉시티 AI를 통해서만 체험해 볼 수 있습니다.

왜 중요한가

엣지 디바이스와 로보틱스 분야를 다루는 엔지니어에게 이번 모델은 매우 매력적인 대안입니다. 클라우드 고성능 서버에 의존해야 했던 100만 토큰급 장문 분석이나 센서 데이터 연산을 16GB 메모리를 갖춘 온디바이스 환경에서 직접 돌릴 수 있다면 운영 비용 구조가 근본적으로 달라집니다. 퍼플렉시티 등에서 실제 응답 성능을 검증해 볼 만합니다.

산업 전체로 보면 트랜스포머 단일 체제에 대한 강력한 반론입니다. 모델 덩치를 키우고 고대역폭 메모리를 무작정 사들이는 방식 대신, 수학적 아키텍처 혁신으로 연산 효율을 극대화할 수 있음을 증명했습니다. 이는 빅테크 기업들에도 하이브리드 아키텍처 도입을 자극하는 계기가 될 것으로 보입니다.

하지만 폐쇄형 정책은 뚜렷한 약점이 될 수 있습니다. 메타가 Llama 생태계를 오픈소스로 장악한 상황에서, 비표준 아키텍처를 비공개 API와 자체 플랫폼으로만 제공하는 방식은 개발자 풀을 넓히는 데 한계가 따릅니다. 엔터프라이즈 시장에서 확실한 신뢰성을 빠르게 입증하지 못한다면 뛰어난 효율성에도 불구하고 초기 채택 장벽이 높을 것으로 생각됩니다.