루마 AI, 'TVM' 공개: 학습 속도 25배 향상·4단계만으로 고화질 생성

선명한 고화질 이미지를 얻기 위해 백 번에 달하는 신경망 연산을 묵묵히 기다려야 했던 확산 모델의 오랜 공식이 깨지고 있습니다.

루마 AI(Luma AI)는 생성 모델의 추론 효율을 극대화하는 새로운 단일 단계 학습 프레임워크인 '터미널 벨로시티 매칭(Terminal Velocity Matching, TVM)'을 발표했습니다.

기존 모델을 미세조정하는 대신 TVM을 적용해 기초부터 학습한 텍스트-이미지 모델은 단 4단계(4번의 신경망 호출) 추론만으로 일반 확산 모델의 100회 호출(50단계 가이던스 적용)과 대등한 화질을 만들어냈습니다. 화질 저하 없이 추론 속도를 25배 끌어올린 셈입니다.

IMM의 확장성 한계를 넘어 100억 파라미터로

현재 생성형 AI 시장을 이끄는 확산 모델과 플로우 매칭(Flow Matching)은 품질이 뛰어난 대신 서비스 운영 비용이 극도로 비쌉니다. 사용자가 몰릴수록 인프라에 가해지는 부담이 기하급수적으로 늘어납니다.

루마 AI는 앞서 IMM(Inductive Moment Matching)이라는 기법을 제안하며 사전 학습 단계에서 추론 단계를 줄이고자 했습니다. 하지만 IMM은 다중 샘플 학습 목표가 필요했고, 현대 데이터센터에서 널리 쓰이는 BF16 대신 FP16 정밀도에 의존해야만 해 초거대 모델로의 확장에 실패했습니다.

TVM은 플로우 매칭을 포섭하는 탄탄한 분포 매칭 이론을 유지하면서도 이 공학적 걸림돌을 치웠습니다. 복잡한 단계를 단일 훈련 체계로 통합하고, BF16 환경에서도 안정적으로 수렴하도록 설계되었습니다.

그 결과 TVM은 100억 개(10B+) 이상의 매개변수를 지닌 확산 트랜스포머(DiT) 모델의 사전 학습까지 무리 없이 지원하는 확장성을 입증했습니다.

왜 중요한가

사용자 관점에서 4단계 추론은 생성 대기 시간이 사라지고 실시간 인터랙션이 가능해짐을 의미합니다. 루마의 프로덕션 모델에 도입된다면 영상과 이미지 생성 API 단가가 크게 낮아져 창작자의 작업 흐름이 훨씬 쾌적해질 것입니다. 다만 현재는 기술 검증과 비교 결과가 공개된 단계라 지금 당장 사용자가 직접 써볼 수 있는 상태는 아닙니다.

업계 전체로 보면 고속화 경쟁의 패러다임이 사후 '증류(Distillation)'에서 '원천 사전 학습'으로 넘어가는 신호탄입니다. 느린 거대 모델을 먼저 만든 뒤 억지로 줄이는 방식이 아니라, 처음부터 4단계로 움직이는 10B급 모델을 학습할 수 있음을 보여주었기 때문입니다.

우리는 루마 AI가 BF16 호환성과 같은 실제 하드웨어 운영 환경을 면밀히 고려해 알고리즘을 재설계한 점이 매우 영리한 한 수였다고 봅니다. 아무리 이론이 뛰어나도 클러스터 인프라에서 병목을 일으키면 상용화될 수 없기 때문입니다.

다만 100번 보던 것을 4번만 보고 지나갈 때 발생하는 한계도 짚어봐야 합니다. 정적인 단일 프레임에서는 흠잡을 데 없는 품질을 냈다 하더라도, 복잡한 인과관계가 얽힌 프롬프트나 긴 영상 시퀀스에서도 디테일 뭉개짐 없이 높은 일관성을 유지할 수 있을지는 향후 프로덕션 적용 결과를 지켜봐야 할 것으로 보입니다.