리넘, 2만 1천 달러로 학습한 20억 파라미터 이미지 생성 모델 'Pyramid-JiT' 오픈소스 공개

단 2만 1천 달러의 연산 비용으로 바닥부터 직접 학습한 고품질 20억 파라미터 이미지 생성 모델이 등장했습니다.

이 결과물을 내놓은 곳은 대형 빅테크가 아닌 2인 연구팀 리넘(Linum)입니다. 이들은 자체 개발한 텍스트-이미지 생성 모델 'Pyramid-JiT'를 오픈소스로 공개했습니다. 40억 파라미터의 Qwen3.5-4B를 텍스트 인코더로 붙이고, 20억 파라미터의 확산 모델 본체를 제로베이스에서 학습하는 데 들어간 비용은 정확히 2만 1천 달러였습니다.

수백만 달러 단위의 투자가 당연시되던 생성 AI 학습 비용을 생각하면 눈에 띄게 파격적인 수치입니다.

VAE를 버리고 픽셀 공간에서 직접 생성하다

Pyramid-JiT의 가장 큰 기술적 특징은 통상적인 VAE(변분 오토인코더) 기반 잠재 공간을 과감히 포기했다는 점입니다.

기존 확산 모델 대다수는 고화질 이미지를 다루기 위해 별도의 VAE로 이미지를 압축한 뒤 잠재 공간에서 노이즈를 제거합니다. 하지만 리넘 연구진은 VAE가 압축률의 한계를 지니며, 오히려 하류 생성 모델의 화질을 떨어뜨리는 병목이 된다고 보았습니다.

대신 연구팀은 모델이 우리가 직접 보는 픽셀 공간에서 곧바로 동작하도록 설계했습니다. 픽셀 공간의 과도한 연산량을 잡기 위해 고안한 방식이 피라미드 구조입니다.

모델의 메인 트렁크 중간 지점에서 4분의 1, 2분의 1 해상도의 이미지를 미리 예측하는 헤드를 배치해 초기 레이어에 강력한 그래디언트 신호를 전달했습니다. 이를 통해 토큰을 더 과감하게 줄이면서도 수렴 속도를 이전 아키텍처 대비 11배 끌어올렸습니다.

8개 노드, 총 64대의 H100 GPU 환경에서 512픽셀급 약 6억 1천만 개 샘플을 거쳐 1024픽셀급 단계로 전환해 학습을 마무리 지었습니다.

저비용 모델이 마주한 한계

공개된 샘플에서 사실적인 인물 초상, 풍경, 스타일화된 일러스트 품질은 체급 대비 놀라울 만큼 정교합니다. 하지만 분명한 트레이드오프도 존재합니다.

이 모델은 이미지 안에 글자를 전혀 쓰지 못합니다. 리넘의 최종 목표가 애니메이션 제작 도구 개발이기 때문에, 학습 데이터셋에서 텍스트가 많은 포스터나 도표, 도서 페이지 데이터를 철저히 걸러냈기 때문입니다.

또한 전신 샷에서 관절이 부자연스럽게 뒤틀리거나, 여러 사람이 얽히는 장면, 자동차 6대처럼 개체 수를 세어야 하는 복잡한 지시문에서는 여전히 어려움을 겪습니다.

그럼에도 오픈소스 생태계에 대한 기여도는 높습니다. 허깅페이스에 올라온 모델 전체 용량은 약 8.74GB 수준이며, 상업적 활용이 자유로운 아파치 2.0 라이선스로 배포되어 소비자용 GPU 환경에서도 직접 구동해 볼 수 있습니다.

왜 중요한가

독립 개발자와 소규모 스타트업에게 Pyramid-JiT는 고성능 확산 모델 사전 학습이 더 이상 빅테크만의 전유물이 아님을 증명한 사례입니다. 2만 1천 달러 수준의 예산이라면, 특정 도메인에 특화된 고유 데이터셋을 가진 팀이 남의 모델을 파인튜닝하는 데 그치지 않고 기초 모델부터 직접 구축해 볼 수 있는 현실적인 문턱이 열린 셈입니다.

업계 전체 관점에서도 잠재 공간 중심의 패러다임에 도전해 픽셀 공간 직접 생성의 가능성을 입증했다는 점이 의미 깊습니다. 멀티 스케일 중간 예측과 체계적인 노이즈 스케줄링을 조합하면 VAE 없이도 연산 효율을 극대화할 수 있음을 보여주었습니다.

우리는 리넘의 이번 접근이 매우 영리하다고 평가합니다. 이 모델은 궁극적으로 이들이 개발 중인 저비용 비디오 모델을 향한 개념 검증 단계입니다. 방대한 파라미터 경쟁에 매몰되지 않고 텍스트 렌더링 같은 부가 기능을 과감히 덜어내 연산 효율에 집중했습니다. 신체 표현 등 디테일의 한계는 남았지만, 적은 인원과 자본으로 생성 AI 전선에서 실질적인 기술적 돌파구를 만들어내는 가장 실용적인 방식을 보여주었습니다.