본문으로 건너뛰기
IFAI

오픈소스

Llama, Qwen, DeepSeek 등 오픈소스·오픈 웨이트 모델과 주목할 만한 데이터셋, 프레임워크, 개발 도구.

최근 7일 소식 14개

  2. 확산 지수 48

    오버월드, 키보드와 마우스로 실시간 조작하는 세계 모델 '웨이포인트-1' 오픈소스 공개

    오버월드가 키보드와 마우스로 실시간 제어할 수 있는 대화형 비디오 세계 모델 'Waypoint-1'을 오픈소스로 공개했습니다. 1만 시간 분량의 게임 영상으로 학습되어 RTX 5090에서 최대 60FPS의 초저지연 생성을 지원합니다. 아직 일관성 부족과 왜곡 현상이 있지만, 2.3B 소형 모델을 내려받아 로컬에서 실행할 수 있습니다.

  3. 확산 지수 48

    LightOnOCR-2-1B 오픈소스 공개: 1B 크기로 9B 모델 넘은 초고속 OCR

    LightOn이 엔드투엔드 비전-언어 OCR 모델 LightOnOCR-2-1B를 오픈소스로 공개했습니다. 1B 파라미터에 불과하지만 OlmOCR-Bench에서 9B 크기의 Chandra-9B를 제쳤으며 DeepSeekOCR보다 1.73배 빠릅니다. Apache 2.0 라이선스로 배포되며 1,600만 페이지 분량의 데이터셋도 함께 공개되었습니다.

  4. 확산 지수 48

    메타, 'ShapeR' 공개: 일상 영상에서 크기 정확한 독립 3D 물체 추출

    메타가 스마트폰으로 촬영한 영상 시퀀스에서 개별 3D 객체를 재구성하는 프레임워크 'ShapeR'를 오픈소스로 공개했습니다. 공간 전체를 한 덩어리로 생성하던 기존 방식과 달리, SLAM 포인트와 멀티모달 데이터를 활용해 각 물체를 실제 크기에 맞춘 독립된 3D 메시로 복원합니다. 개별 물체 편집이 훨씬 쉬워집니다.

  5. 확산 지수 48

    FlashLabs, 실시간 음성 대화 모델 'Chroma 1.0' 오픈소스 공개…음성 복제 지원

    FlashLabs가 엔드투엔드 실시간 음성 대화 모델 Chroma 1.0을 아파치 2.0 라이선스로 오픈소스 공개했습니다. 텍스트 변환을 거치지 않고 음성 입력을 직접 이해해 실시간 음성과 텍스트 답변을 생성하며, 참조 음성을 활용한 맞춤형 음성 복제도 지원합니다. Qwen2.5-Omni와 Llama 3 기반이며 현재 영어만 지원합니다.

  6. 확산 지수 48

    다중 캐릭터 애니메이션 오픈소스 모델 'CoDance' 공개

    여러 캐릭터를 하나의 동작 시퀀스로 자연스럽게 움직이게 만드는 'CoDance'가 오픈소스로 공개됐다. 포즈와 위치의 고정된 결합을 풀고 텍스트와 마스크로 대상을 다시 지정해 포즈 불일치 문제를 해결했다. 현재 코드와 모델 가중치가 모두 제공된다.

  8. 확산 지수 48

    오픈소스 음악 생성 AI 'HeartMuLa' 등장, 텍스트와 가사로 완곡 생성

    오픈소스 음악 파운데이션 모델 'HeartMuLa'가 공개됐다. 스타일 프롬프트와 가사만 넣으면 보컬과 반주가 합쳐진 완곡을 생성하며, 현재 3B 파라미터 버전(약 16GB)이 배포 중이다. 다국어를 지원하고 멜로디 일관성이 뛰어나 폐쇄형 상용 모델인 Suno에 필적하는 성능을 오픈소스로 구현했다.

  13. 확산 지수 48

    NovaSR: 단 52KB 용량으로 실시간보다 3500배 빠른 초경량 오디오 업샘플러

    개발자 yatharthsharma3501이 초경량 오디오 업샘플링 모델 NovaSR을 오픈소스로 공개했다. 모델 크기가 약 52KB에 불과하며, 10개 미만의 Conv1D 계층 구조로 A100에서 실시간 대비 3600배 속도를 기록한다. 16kHz 음성을 48kHz 고음질로 복원해 온디바이스 기기나 TTS 실시간 품질 향상에 유용하다.

  14. 확산 지수 48

    ShowUI-Aloha: 사람의 화면 조작 1회 시연으로 PC 업무 학습하는 AI

    ShowLab이 사람의 화면 녹화와 마우스·키보드 조작을 보고 PC 작업을 학습하는 에이전트 ShowUI-Aloha를 오픈소스로 공개했다. 한 번의 시연만으로 작업 흐름을 추상화해 새 업무를 처리하며, OSWorld 벤치마크에서 60.1%의 성공률을 기록했다.

  15. 확산 지수 48

    오픈소스 이미지 편집기 'VIBE' 공개: 2K 이미지를 4초 만에 편집

    초고속 오픈소스 이미지 편집 모델 VIBE가 공개됐다. 2B 파라미터의 Qwen3-VL과 1.6B의 Sana 1.5를 결합해, H100에서 2K 이미지를 약 4초 만에 편집하며 증류 버전은 2초 이내로 단축된다. 가벼운 크기로 원본 디테일을 정교하게 유지하는 점이 특징이다.

  16. 확산 지수 48

    UniSH 오픈소스: 일반 영상에서 3D 공간과 인체 움직임을 한 번에 복원

    UniSH가 단일 영상에서 3D 배경과 인체의 동적 움직임을 동시에 복원하는 순방향 프레임워크를 공개했습니다. 복잡한 반복 최적화 없이 흔들리는 영상에서도 장면 포인트 클라우드, 카메라 궤적, 인체 메쉬를 한 번에 추론합니다. 코드는 GitHub에 공개되어 로컬에서 실행할 수 있습니다.

  17. 확산 지수 46

    텐센트, 10억 파라미터 3D 동작 생성 모델 'HY-Motion 1.0' 오픈소스 공개

    텐센트가 텍스트 기반 3D 애니메이션 생성 모델 'HY-Motion 1.0'을 오픈소스로 공개했다. DiT 구조와 플로우 매칭을 기반으로 10억 개 이상의 파라미터를 갖췄으며, 200개 이상의 동작 범주를 지원해 생성된 3D 에셋을 기존 제작 파이프라인에 바로 통합할 수 있다.

  18. 확산 지수 35

    fal, FLUX.2 Turbo 공개: 8단계 생성으로 장당 1센트 미만 구현

    fal이 오픈웨이트 이미지 모델 'FLUX.2 [dev] Turbo'를 공개했다. DMD2 증류 기술을 통해 생성 단계를 50단계에서 8단계로 단축했으며, 1024x1024 이미지를 6.6초 만에 장당 약 0.008달러로 생성한다. 가중치는 Hugging Face에 공개되었으나 상업적 이용 시에는 fal의 API를 거쳐야 한다.