OpenAI, 1단계 연산으로 이미지 만드는 '일관성 모델' 연구 공개

미드저니나 스테이블 디퓨전을 써본 사람이라면 누구나 익숙한 과정이 있습니다. 자글자글한 노이즈 화면에서 시작해 수십 번에서 수백 번의 계산을 거쳐야 비로소 선명한 이미지가 완성됩니다.

이런 확산 모델(디퓨전)은 놀라운 퀄리티를 보여주지만, 연산 비용이 지나치게 크고 느려서 실시간 서비스에 적용하기는 어렵습니다. OpenAI가 이 복잡한 과정을 단 한 단계로 줄이는 연구에 착수했습니다.

지난달 OpenAI 연구팀은 사전 인쇄본 사이트에 '일관성 모델(Consistency Models)'이라는 기술 논문을 조용히 공개했습니다. 저자 목록에는 주 연구자인 양 송, 프라풀라 다리왈, 마크 첸 외에도 OpenAI 공동창업자이자 수석 과학자인 일리야 수츠케버가 포함되었습니다.

수십 번의 계산을 단 1단계로 압축

일관성 모델의 강점을 이해하려면 먼저 디퓨전 모델의 한계를 짚어봐야 합니다.

기존 디퓨전 방식은 노이즈로 가득 찬 이미지에서 출발해 10단계에서 수천 단계에 걸쳐 서서히 노이즈를 걷어냅니다. 결과물은 뛰어나지만 GPU 자원을 심하게 소모하며, 반응 속도가 빨라야 하는 인터랙티브 서비스에는 쓰기 힘듭니다.

반면 일관성 모델의 목표는 단 1회, 많아야 2회의 계산만으로 쓸 만한 이미지를 즉시 뽑아내는 것입니다.

훈련 방식은 디퓨전처럼 이미지가 노이즈로 파괴되는 과정을 관찰하지만, 노이즈가 얼마나 끼어 있든 상관없이 단 한 번의 연산으로 원본 이미지를 바로 매핑해 복원하도록 학습합니다.

물론 지금 당장 나오는 결과물은 화려하지 않으며 조악해 보이는 이미지도 많습니다. 하지만 DALL-E 같은 기존 모델보다 속도가 자릿수 단위로 빨라졌고, 채색, 해상도 확대, 스케치 변환, 이미지 채우기 같은 작업도 단 한 단계 만에 수행할 수 있습니다. 2단계 계산을 적용하면 품질이 눈에 띄게 개선됩니다.

왜 중요한가

일반 창작자나 개발자가 지금 당장 상용 툴을 대체해 쓸 만한 수준은 아닙니다. 화질 면에서 아직 미드저니에 비할 바가 못 되며, 어디까지나 연구실 단계의 기초 기술에 가깝습니다.

하지만 이 기술이 겨냥하는 미래는 명확합니다. 스마트폰 배터리를 순식간에 갉아먹지 않으면서 기기 내부에서 직접 이미지를 생성하거나, 실시간 채팅창 안에서 지연 시간 없이 비주얼을 주고받으려면 기존 디퓨전 모델로는 답이 안 나옵니다. 일관성 모델은 바로 이런 저전력, 온디바이스, 실시간 환경에 딱 들어맞습니다.

업계 관점에서도 이번 행보는 상당히 영리해 보입니다. 모든 경쟁사가 디퓨전 모델의 디테일을 다듬고 GPU를 갈아 넣는 동안, OpenAI는 이미 디퓨전 이후의 효율적인 연산 표준을 탐색하고 있기 때문입니다. 머신러닝 분야에서는 처음에 엉성하더라도 효율이 압도적인 신기술이 결국 튜닝을 거쳐 시장을 재편해 온 전례가 많습니다.

우리는 향후 이 모델이 1단계라는 극단적인 속도를 유지하면서 디퓨전 수준의 화질을 얼마나 따라잡을 수 있을지가 실시간 AI 인터페이스의 핵심 변수가 될 것이라고 봅니다.