스태빌리티 AI, 'SDXL 1.0' 오픈소스 공개: 손 묘사 대폭 개선
스태빌리티 AI가 플래그십 이미지 생성 모델 'SDXL 1.0'을 오픈소스로 공개했다. 기본 1024x1024 해상도를 지원하며 손과 텍스트, 공간 구도 표현력이 크게 향상됐다. 'masterpiece' 같은 수식어 없이도 정교한 이미지를 만들 수 있으며, 8GB VRAM 소비자용 GPU에서도 구동된다.
Llama, Qwen, DeepSeek 등 오픈소스·오픈 웨이트 모델과 주목할 만한 데이터셋, 프레임워크, 개발 도구.
스태빌리티 AI가 플래그십 이미지 생성 모델 'SDXL 1.0'을 오픈소스로 공개했다. 기본 1024x1024 해상도를 지원하며 손과 텍스트, 공간 구도 표현력이 크게 향상됐다. 'masterpiece' 같은 수식어 없이도 정교한 이미지를 만들 수 있으며, 8GB VRAM 소비자용 GPU에서도 구동된다.
허깅페이스는 브라우저나 Node 환경에서 대형 언어 모델이 도구를 호출할 수 있게 돕는 라이브러리 Agents.js를 공개했다. 텍스트-이미지 생성 및 캡셔닝 등 멀티모달 도구를 기본 제공하며 커스텀 모델 확장도 지원한다. 단, 환경 내에서 생성된 코드를 직접 실행하는 방식이어서 보안 위험에 유의해야 한다.
InvokeAI가 3.0.0 버전을 공개했다. 내부 시스템을 노드 기반으로 전면 재설계하고 실험적인 노드 에디터를 추가했다. ControlNet 및 다이내믹 프롬프트가 통합되었으며 SDXL 초기 지원, 77토큰 이상의 긴 프롬프트 지원, Mac 환경 float16 메모리 절감 기능이 포함됐다.
허깅페이스가 영상 및 음원 자동 생성을 시연하는 실험 프로젝트 'AI WebTV'를 공개했다. ChatGPT로 프롬프트를 확장하고 오픈소스 모델 Zeroscope V2로 영상 생성, FILM 보간 및 MusicGen 음악 합성을 거쳐 FFmpeg로 실시간 송출한다. 아직 품질 한계는 있지만 완전 자동화된 오픈소스 멀티모달 방송 파이프라인의 가능성을 입증했다.
워싱턴포스트에 따르면 메타의 오픈소스 거대언어모델 라마(LLaMA)가 안전 가드레일 없는 성인용 챗봇 제작에 악용되고 있다. 폭력적인 시나리오까지 무제한 생성되면서, 프론티어 AI 모델을 오픈소스로 공개하는 것이 과연 안전한가를 둘러싼 논란이 다시 불붙었다.
마이크로소프트 연구소가 130억 파라미터 규모의 오픈소스 모델 '오르카(Orca)'를 공개했다. GPT-4의 단계별 추론 과정을 모방 학습해 BBH 벤치마크에서 ChatGPT와 대등한 추론 능력을 기록했다. 대규모 데이터센터 없이도 소형 모델이 뛰어난 논리력을 갖출 수 있음을 보여준다.
메타가 비전 모델 'I-JEPA'를 오픈소스로 공개했다. 픽셀 단위 예측 대신 인간처럼 추상적 의미 표현을 바탕으로 가려진 이미지를 유추하는 구조다. A100 GPU 16대로 72시간 만에 학습을 마칠 만큼 효율적이며, 세계 모델 구축의 핵심 단계로 평가받는다.
허깅페이스는 아부다비 TII가 개발한 오픈소스 LLM 'Falcon' 시리즈 지원을 발표했다. 아파치 2.0 라이선스로 상업적 이용이 가능하며, Falcon-40B는 LLaMA-65B를 제치고 오픈 LLM 리더보드 1위에 올랐다. 멀티쿼리 어텐션을 적용해 추론 메모리 효율을 크게 높였으며 일반 PC에서도 구동할 수 있다.
텍스트 프롬프트와 가사만 입력하면 보컬이 포함된 완곡을 생성하는 새로운 오픈소스 AI 음악 생성기가 GitHub에 공개됐다. 레게나 컨트리 등 다양한 장르에서 깔끔한 입체 음향을 들려주지만 일부 발음 오류가 남는다. 로컬 실행을 위한 가이드도 함께 제공된다.
메타가 대규모 다국어 음성 AI 모델 ‘MMS’와 코드를 오픈소스로 공개했다. 음성 인식 및 합성 지원 언어를 기존 100여 개에서 1100개 이상으로 늘리고, 4000개 이상의 구어 식별도 지원한다. 성경 등 다국어 종교 녹음 데이터를 학습에 활용해 데이터 부족을 해결했으며, 소멸 위기 언어 보존을 돕는다.
스태빌리티AI가 이미지 생성 도구 드림스튜디오의 코드를 오픈소스 프로젝트 '스테이블스튜디오'로 공개했다. 커뮤니티 협업을 통해 WebGPU 로컬 추론과 플러그인 확장, 향후 챗 인터페이스까지 지원한다는 구상이다. 기존 드림스튜디오는 호스팅 버전으로 유지된다.
디인포메이션에 따르면 오픈AI가 대중에 공개할 새로운 오픈소스 언어모델을 준비 중인 것으로 전해졌다. 다만 이번 모델은 주력 상용 모델인 GPT 시리즈와 직접 경쟁할 수준은 아닐 것으로 알려졌다.
메타는 텍스트, 오디오, 이미지·영상, 열화상, 심도, IMU 센서 동작 데이터 등 6가지 형태의 데이터를 하나의 임베딩 공간으로 결합한 AI 모델 ImageBind를 오픈소스로 공개했다. 여러 감각 데이터를 교차 참조할 수 있도록 돕는 연구 단계의 프로젝트로, 아직 즉각적인 상용 제품은 없다.
OpenAI가 3D 자산 생성 모델 Shap-E를 오픈소스로 공개하고 GitHub에 가중치와 추론 코드를 배포했습니다. 텍스트 프롬프트 하나로 텍스처 메시와 NeRF를 수초 만에 생성하며 Point-E보다 수렴 속도와 품질이 개선되었으나, 복잡한 다중 속성 처리에는 한계가 있습니다.
허깅페이스와 서비스나우가 오픈소스 코드 생성 모델 '스타코더(StarCoder)'를 출시했다. 150억 개 매개변수 규모로 80개 이상의 프로그래밍 언어를 지원하며 허용 라이선스 데이터로 학습됐다. 기업을 포함해 누구나 무료로 상용화할 수 있어 유료인 깃허브 코파일럿의 강력한 오픈소스 대안으로 주목받고 있다.
구글 연구원이 작성한 내부 문건이 공개되며 구글과 오픈AI 모두 AI 군비 경쟁에서 안전한 '해자'가 없다는 분석이 제기되었습니다. 메타의 LLaMA 유출 이후 오픈소스 생태계가 LoRA 등 저비용 기술로 폐쇄형 모델을 턱밑까지 추격한 만큼, 폐쇄적 고비용 모델에서 벗어나 오픈소스와 협력해야 한다는 지적입니다.
스태빌리티 AI가 인간 피드백 기반 강화학습(RLHF)을 적용한 최초의 대규모 오픈소스 챗봇 모델 'StableVicuna-13B'를 공개했다. Vicuna-13B 기반에 trlX와 Anthropic 등의 공개 선호도 데이터셋을 활용해 PPO 훈련을 마쳤다. 폐쇄형 모델의 전유물이던 RLHF 전 과정을 오픈소스 생태계로 끌고 온 점이 핵심이다. Hugging Face에서 가중치 델타를 내려받을 수 있다.
허깅페이스가 챗GPT의 오픈소스 대안인 허깅챗(HuggingChat)을 출시했다. 오픈 어시스턴트의 최신 모델과 허깅페이스 추론 API를 기반으로 구동된다. 폐쇄형 API가 주도하는 시장에서 오픈소스 진영의 대표 대안으로 나섰다.
엔비디아가 대규모 언어 모델(LLM) 기반 앱의 탈선을 막는 오픈소스 소프트웨어 '네모 가드레일(NeMo Guardrails)'을 공개했다. 주제 이탈 방지, 유해 콘텐츠 필터링, 보안 연결을 지원하며 랭체인과 쉽게 연동된다. 머신러닝 전문가가 아니어도 몇 줄의 코드로 안전 규칙을 적용할 수 있다.
코히어가 위키피디아 문서를 벡터화한 데이터셋 'The Embedding Archives'를 공개하고 약 1억 개의 다국어 임베딩 벡터를 무료 배포했다. 한국어와 영어를 포함한 10개 언어를 지원하며 허깅페이스에서 내려받을 수 있다. 개발자는 텍스트 분할과 임베딩 추출 비용 없이 곧바로 다국어 시맨틱 검색을 구축할 수 있다.