Stability AI, 이미지 속 텍스트 똑똑하게 그리는 'DeepFloyd IF' 공개
Stability AI와 DeepFloyd는 픽셀 기반 확산 모델 'DeepFloyd IF'를 연구용 라이선스로 발표했다. 대형 언어 모델 T5-XXL을 텍스트 인코더로 활용해 기존 모델들이 어려워하던 이미지 내 선명한 글자 렌더링과 공간 배치를 대폭 개선했다. 피드백 수렴 후 완전 오픈소스로 전환할 예정이다.
Stability AI와 DeepFloyd는 픽셀 기반 확산 모델 'DeepFloyd IF'를 연구용 라이선스로 발표했다. 대형 언어 모델 T5-XXL을 텍스트 인코더로 활용해 기존 모델들이 어려워하던 이미지 내 선명한 글자 렌더링과 공간 배치를 대폭 개선했다. 피드백 수렴 후 완전 오픈소스로 전환할 예정이다.
Sifted에 유출된 투자 설명 자료에 따르면, Stability AI는 2022년 10월 1억 100만 달러 규모의 시리즈 A 유치 당시 Stable Diffusion 개발 기여도와 타사 협력 관계를 과장했다는 의혹을 받고 있습니다. 핵심 기술의 실제 지식재산권 보유 여부를 둘러싼 논란이 커지고 있습니다.
스테이빌리티 AI가 오픈소스 대형 언어 모델 패키지 'Stable LM' 알파 버전(30억·70억 파라미터)을 출시했다. 1.5조 토큰 데이터셋으로 학습되어 텍스트와 코드를 생성하며, 기본 모델은 상업적 이용이 가능한 라이선스로 배포된다. 고가의 클라우드 API 없이 개인 하드웨어에서 직접 구동할 수 있다는 점이 핵심이다.
스태빌리티 AI가 차세대 텍스트 투 이미지 모델인 Stable Diffusion XL(SDXL)을 선보였다. 35억 개의 매개변수를 바탕으로 고해상도 및 실사 수준의 그래픽을 구현한다. 창작자와 개발자는 더욱 정교하고 다채로운 스타일의 이미지를 생성할 수 있게 됐다.
외신 세마포어에 따르면 오픈소스 이미지 생성 AI '스테이블 디퓨전'의 주역 스태빌리티 AI가 뚜렷한 수익 모델 없이 자금을 빠르게 소진하며 경영난을 겪고 있다. 지난해 조달한 1억 달러가 바닥을 드러내면서 40억 달러 기업가치를 노리던 후속 펀딩마저 불투명해졌다.
Stability AI가 Clipdrop의 신규 도구인 Stable Diffusion Reimagine을 출시했다. 복잡한 텍스트 프롬프트 없이 이미지를 업로드하기만 하면 구도와 세부 묘사가 다른 변형 이미지를 무제한 생성할 수 있다. 텍스트 대신 이미지 인코더를 적용해 원본 픽셀을 직접 쓰지 않으며, 추후 모델 코드도 오픈소스로 공개할 예정이다.
스태빌리티 AI가 인기 이미지 툴 '클립드롭'을 만든 인잇 ML을 인수했다고 발표했다. 이번 인수는 스태빌리티 AI의 첫 M&A로, 1500만 명 이상의 사용자를 보유한 인잇 ML 팀 전원이 합류한다. 향후 스태빌리티 AI의 최신 생성 모델들이 클립드롭 워크플로에 본격 통합될 예정이다.
블룸버그에 따르면 이미지 생성 AI '스테이블 디퓨전' 개발사인 스태빌리티 AI가 약 40억 달러의 기업가치로 신규 자금 유치를 추진 중이다. 지난해 10월 10억 달러 가치로 1억 100만 달러를 조달한 지 불과 몇 달 만으로, 최종 조달 규모와 가치는 아직 바뀔 수 있다.
게티이미지가 미국 델라웨어 연방법원에 스테이빌리티 AI를 상대로 저작권 및 상표권 침해 소송을 제기했다. 스테이블 디퓨전 학습에 1200만 장 이상의 사진을 무단 도용했다는 주장이다. 게티 측은 관련 모델 버전의 전량 폐기와 손해배상을 요구하고 나섰다.
일러스트레이터 등 작가 3인이 동의 없이 작품을 AI 모델 학습에 사용했다며 Stability AI, Midjourney, DeviantArt를 상대로 샌프란시스코 법원에 집단소송을 냈다. 원고들은 이름만 입력하면 화풍을 손쉽게 베낄 수 있어 생계를 위협받고 있다고 주장하며, 이는 생성형 AI 기업을 상대로 한 작가들의 첫 사법 도전이다.
게티이미지가 런던 고등법원에 스테이빌리티 AI를 상대로 소송을 제기했다. 스테이블 디퓨전 모델 학습을 위해 자사 저작권 이미지 수백만 장을 허가 없이 무단 사용했다는 혐의다. 게티이미지는 AI 기술 자체는 지지하며 타사에는 정식 라이선스를 공급해왔으나, 해당 업체가 합법적 절차를 무시했다고 지적했다.
세 명의 예술가가 스태빌리티 AI, 미드저니, 데비안트아트를 상대로 집단 저작권 소송을 제기했다. 원작자의 동의 없이 수십억 장의 이미지를 AI 학습에 무단 사용해 화풍을 모방했다고 주장하며 손해배상과 금지명령을 청구했다. AI 모델 학습이 공정 이용에 해당하는지 시험하는 분수령이 될 전망이다.
가디언은 렌사(Lensa), 미드저니 등 이미지 생성 AI의 확산이 일러스트레이터 등 창작자들의 생계와 저작권에 미치는 영향을 조명했다. 스타일 무단 학습에 대응해 학습 배제(옵트아웃)를 돕는 움직임도 나타나고 있으나, 화풍 보호에 대한 법적 기준은 여전히 모호하다.
현대 이미지 생성 AI의 핵심 기술인 디퓨전 모델의 발전 과정과 작동 원리가 조명됐다. 비평형 열역학에서 착안한 이 기술은 노이즈로부터 데이터를 복원하는 역과정을 학습하며, 오픈AI의 CLIP과 결합해 정밀도를 대폭 끌어올렸다. 최근에는 예술 창작을 넘어 작곡과 신약 단백질 설계 등 생명공학 분야로 영역을 넓히고 있다.
크라우드펀딩 플랫폼 킥스타터가 AI 성인물 생성 프로젝트 Unstable Diffusion의 모금 캠페인을 중단했다. 867명의 후원자로부터 모인 5만 6,000달러는 전액 환불 처리된다. 예술계의 거센 반발 속에서 킥스타터는 저작권 침해 및 유해성 위험이 있는 AI 프로젝트의 가이드라인을 재검토하고 있다.
스탠퍼드대 AIMI 연구진은 오픈소스 스테이블 디퓨전을 파인튜닝해 병변이 묘사된 흉부 X선 영상을 합성하는 데 성공했다고 발표했다. 막대한 전용 컴퓨팅 비용 없이도 의료 합성 데이터를 생성해 희귀 질환 훈련 데이터 부족을 메울 수 있음을 보여줬다.
공개된 Stable Diffusion 2.0에 3D 깊이 정보를 추론해 이미지를 생성하는 'depth2img' 기능이 추가됐다. MiDaS 모델을 통해 단일 2D 이미지의 3D 형태를 유지하므로, 3D 아티스트가 간단한 그레이박스 모델링만으로 구도 왜곡 없이 다양한 텍스처와 조명 콘셉트를 실험할 수 있다.