애플, 확산 모델 맞서는 고해상도 이미지 생성 기술 'STARFlow' 공개

DALL-E와 Midjourney 등 디퓨전 모델이 장악하고 있는 생성형 AI 시장에서 Apple이 완전히 다른 수학적 접근법을 들고나왔습니다.

Apple 머신러닝 연구팀은 지난주 공개한 논문을 통해 새로운 고해상도 이미지 생성 시스템인 'STARFlow'를 발표했습니다. UC 버클리, 조지아 공과대학교 연구진 및 플로우 기반 모델의 선구자로 알려진 로랑 딘(Laurent Dinh) 등 학계 파트너들과 공동 개발한 결과물입니다.

STARFlow는 노멀라이징 플로우(Normalizing Flows)와 자기회귀 트랜스포머를 결합한 시스템입니다. 연구팀에 따르면, 이 정도의 대규모 고해상도 환경에서 노멀라이징 플로우를 성공적으로 작동시킨 사례는 이번이 처음이며, 최신 디퓨전 모델과 견줄 만한 성능을 확보했다고 밝혔습니다.

노이즈 제거 대신 잠재 공간과 심층·얕은 구조 택해

노멀라이징 플로우는 단순한 확률 분포를 복잡한 분포로 변환하는 생성 모델이지만, 계산 복잡성 문제로 인해 그동안 디퓨전 모델이나 GAN에 밀려 고해상도 이미지 합성 분야에서 두각을 나타내지 못했습니다.

Apple 연구팀은 이를 해결하기 위해 몇 가지 기술적 혁신을 도입했습니다. 먼저 원시 픽셀을 직접 모델링하지 않고, 사전 학습된 오토인코더의 잠재 공간(Latent Space)에서 작동하도록 설계해 연산 효율을 크게 끌어올렸습니다.

아울러 '딥-샬로우(Deep-Shallow)' 구조를 채택했습니다. 모델 표현력의 대부분을 담당하는 깊은 트랜스포머 블록에, 계산 효율이 높고 효과적인 얕은 트랜스포머 블록 몇 개를 결합해 성능 균형을 맞췄습니다.

수십 단계의 반복적인 디노이징 과정을 거쳐야 하는 디퓨전 모델과 달리, STARFlow는 이산화 과정 없이 연속 공간에서 정밀한 최대 우도 학습(Exact Maximum Likelihood Training)이 가능합니다. 클래스 조건부 및 텍스트 조건부 이미지 생성 테스트 모두에서 기존 최정상급 디퓨전 모델에 근접한 품질을 보였습니다.

왜 중요한가

일반 사용자 관점에서 STARFlow는 아직 연구 논문 단계의 성과이므로 당장 iPhone이나 Mac에서 직접 써볼 수는 없습니다.

하지만 온디바이스 AI와 업계 기술 경쟁 구도에서는 주목할 만한 전환점입니다. 최근 블룸버그 분석을 비롯해 WWDC에서의 다소 제한적인 발표로 인해 Apple이 AI 경쟁에서 뒤처지고 있다는 지적이 잇따랐습니다. 빅테크들이 디퓨전 모델 고도화에 매달릴 때, Apple은 온디바이스 환경에 잠재력이 있는 대체 아키텍처를 학계와 협력해 파고든 셈입니다.

우리가 보기에 이 방식은 Apple의 온디바이스 및 하드웨어 수직 계열화 전략과 잘 맞아떨어집니다. 정확한 우도 추정이 가능한 플로우 모델은 생성 과정의 제어력을 높이고 모델의 불확실성을 파악하는 데 유리해, 신뢰성이 필수적인 온디바이스 작업이나 기업용 기능에 강점을 가질 수 있습니다.

다만 디퓨전 모델이 이미 방대한 오픈소스 생태계와 툴체인을 구축해 놓았다는 점이 숙제입니다. 논문에서 품질 동등성을 입증한 것을 넘어, 과연 Apple이 이를 자사 칩셋에 최적화된 실용적인 기능으로 안착시킬 수 있을지가 향후 관전 포인트입니다.