푸단대·텐센트, 2K 비디오·오디오 동시 생성 모델 'Prism' 오픈소스 공개
푸단대학교와 텐센트 훈위안, 저장대학교 연구진이 네이티브 2K 해상도를 지원하는 비디오·오디오 동시 생성 프레임워크 'Prism'을 오픈소스로 공개했습니다. 동적 희소 어텐션을 통해 소리가 발생하는 영역과 움직임이 빠른 부분에 연산력을 집중시켜 훈련 속도를 2.5배 높였습니다. 현재 허깅페이스에서 프리뷰 가중치와 코드가 제공됩니다.
Llama, Qwen, DeepSeek 등 오픈소스·오픈 웨이트 모델과 주목할 만한 데이터셋, 프레임워크, 개발 도구.
푸단대학교와 텐센트 훈위안, 저장대학교 연구진이 네이티브 2K 해상도를 지원하는 비디오·오디오 동시 생성 프레임워크 'Prism'을 오픈소스로 공개했습니다. 동적 희소 어텐션을 통해 소리가 발생하는 영역과 움직임이 빠른 부분에 연산력을 집중시켜 훈련 속도를 2.5배 높였습니다. 현재 허깅페이스에서 프리뷰 가중치와 코드가 제공됩니다.
메타가 자사 AI 에이전트 뮤즈(Muse)를 라즈베리 파이나 ESP32 보드에 연동할 수 있는 SDK를 오픈소스로 공개했다. 이용자는 컬러 전자종이 알림판이나 DIY 터치스크린 기기를 직접 만들 수 있다. 메타는 가전을 제어하는 전용 허브 기기 '뮤즈 홈 링크' 5천 대도 무료 배포한다.
Cactus Compute가 단일 파일 크기 16.9MB의 온디바이스 음성인식 모델 Whistle을 공개했다. 외장 의존성 없이 순수 CPU만으로 구동되며 7개 언어 전사와 단어 단위 타임스탬프를 지원하고, 여러 벤치마크에서 145MB 크기의 Whisper base를 넘어섰다.
Strands가 2B 규모의 오픈소스 의사결정 모델 Decider 2B를 공개했다. Qwen3.5-2B 기반에서 텍스트 생성 헤드를 제거하고 포인터 헤드를 얹어 선택지 판단과 신뢰도 점수 산출에 특화했다. RTX 3090 기준 115ms 지연 시간으로 로컬 에이전트의 도구 호출 검증 등에 유용하다.
복잡한 지형에서 인체 움직임을 구현하는 AI 시스템 'Terra'가 오픈소스로 공개됐다. 관절 각도를 단순 제어하는 대신 실제 근육 수축과 골격 견인 메커니즘을 시뮬레이션하며, 9시간 이상의 동작 데이터를 학습해 경사면과 계단을 자연스럽게 이동한다. 코드는 Apache 2.0 라이선스로 제공된다.
엔비디아와 워털루 대학교가 멀티모달 모델 PixelUMM을 오픈소스로 공개했다. 별도의 VAE나 시각 인코더 없이 Qwen3-8B 기반 단일 트랜스포머로 원시 픽셀 공간에서 이미지와 비디오의 이해 및 생성을 모두 처리한다. 복잡한 잠재 공간 압축을 걷어내고 파이프라인을 단순화한 통합 구조라는 점이 특징이다.
CopilotKit이 자체 인프라에 배포 가능한 에이전트 템플릿 'OpenDots'를 오픈소스로 공개했다. 각 에이전트마다 전용 가상 브라우저와 터미널을 할당하고 실시간 음성 통화와 슬랙 연동을 지원한다. 상용 비서 서비스 대신 데이터 통제권을 쥔 채 맞춤형 AI 비서를 구축할 수 있다.
에버마인드AI가 자가 개선 멀티 에이전트 프레임워크 Raven을 오픈소스로 공개했다. 여러 전문 에이전트를 조율하는 총괄 관리자 역할을 하며, 약 4일간 자율 실행으로 Godot 4 기반 FPS 게임과 홍보 포스터, 웹사이트를 제작했다. 조작할 수 없는 평가 기준 아래 에이전트의 작업 절차를 자체 검증하며 개선해 나가는 것이 핵심이다.
인터랙티브 세계 모델 World Play 2의 코드가 공개됐다. 가상 공간을 실시간으로 이동하고 사물과 상호작용할 수 있으며, 이전 상황을 메모리에 압축 저장해 장시간 탐색하거나 다시 돌아와도 일관성을 유지한다. 4단계 추론을 지원하는 Turbo 버전도 제공되지만, 비양자화 전체 모델 크기는 69GB에 달한다.
InSpatio가 4D 공간 세계 모델 InSpatio-World 1.5를 오픈소스로 공개했다. 단일 이미지나 파노라마, 비디오를 입력하고 카메라 경로를 지정하면 새로운 시점을 추론해 4D 탐색 영상과 불릿 타임 효과를 만들어낸다. 모델 크기가 6GB 미만이라 일반 소비자용 GPU에서도 구동된다.
연구진이 동영상 증류 프레임워크 PDMD와 LoRA 가중치를 오픈소스로 공개했습니다. MiniMax-H3의 생성 과정을 기존 20~30스텝에서 단 4스텝으로 줄였습니다. 평가기의 잘못된 피드백을 보정해 증류 과정에서 디테일이 뭉개지는 현상을 막고 자연스러운 움직임을 유지합니다.
Fermion Research가 영어 음성인식 모델 Phonon-2를 오픈소스로 공개했다. 다운로드 크기가 164MB에 불과하지만 5.21%의 단어 오류율을 기록했으며, M5 맥북 에어에서 1시간 분량 오디오를 20초 만에 로컬에서 텍스트로 변환한다.
엔비디아가 '오픈 에이전트 안전 플랫폼'을 공개했다. 오픈소스 런타임 OpenShell과 BlueField-4 DPU 기반 감시 설계 Sentry를 결합해, 에이전트가 허용 경계를 벗어나면 수 밀리초 만에 하드웨어 레벨에서 격리한다. 앤트로픽과 마이크로소프트 등 100여 개 기업이 협력에 참여했다.
오픈소스 로컬 추론 엔진 Strata가 공개되었습니다. GPU VRAM과 시스템 메모리, SSD를 유기적으로 연계해 12GB VRAM 사양의 일반 PC에서도 Qwen3.8-Flash-Next 같은 초대형 모델을 로컬에서 실행할 수 있습니다. OpenAI 호환 로컬 API도 지원해 고성능 AI 모델의 일반 하드웨어 접근성을 크게 넓혔습니다.
개발자 yetone이 로컬 게이트웨이 도구 Magpie를 오픈소스로 공개했다. Claude Code, Codex 등 다양한 코딩 에이전트의 모델 설정을 메뉴바 하나로 통합해 DeepSeek이나 Kimi 같은 모델로 쉽게 전환할 수 있으며, 사용량 소진 시 계정 자동 전환과 로컬 프롬프트 마스킹을 지원한다.
Valen-Team이 시스템 원 직관 판단 방식을 시각 영역으로 확장한 경량 멀티모달 의사결정 모델 Valen을 오픈소스로 공개했다. Qwen3.5 기반 0.8B~4B 크기로 제공되며, 텍스트와 영상 입력을 받아 후보 동작에 대한 확률 분포를 수백 밀리초 만에 출력해 에이전트의 초고속 반사 계층 역할을 맡는다.
대조 학습 기반의 System 1 의사결정 모델 CLM-8B가 오픈소스로 공개됐다. 상태와 행동 임베딩을 분리 캐싱해 컴퓨터 조작과 도구 호출 등에서 Jev 수준의 성능을 내면서도 지연 시간을 최대 9배 줄였다. 가벼운 미세조정만으로 Terminal-Bench 2.1 등 에이전트 코딩 검증 벤치마크에서 SOTA를 달성했다.
inclusionAI가 시각 디자인 특화 6B 오픈소스 모델 'Ming-Image-0.1'을 공개했다. 알파 채널을 지원해 투명 배경 이미지를 생성할 수 있으며, 완성된 평면 디자인을 편집 가능한 개별 레이어로 분해하는 모델도 함께 제공된다. 실제 그래픽 작업 흐름에 바로 녹아들 수 있다는 점이 핵심이다.
SupraLabs가 1억 400만 파라미터 규모의 초소형 텍스트-이미지 생성 모델 Supra2-IMG를 오픈소스로 공개했다. 모델 용량은 약 417MB 수준으로, 단 한 장의 H100 GPU로 9시간 만에 학습을 마쳤다. 해상도는 256x256으로 제한적이지만 모바일과 엣지 기기 구동에 최적화됐다.
Edge0이 중·영 이중 언어를 지원하는 스트리밍 음성인식 모델 Audio8-ASR-Infinite를 공개했다. 전사 지연 시간을 240~560ms 수준으로 낮추고 롤링 KV 캐시 기술을 통해 24시간 연속 구동 시에도 메모리와 연산 지연을 일정하게 유지한다.