TeleStyle 오픈소스 공개: 참조 이미지로 사진과 비디오 화풍 일괄 변환
이미지와 비디오 스타일 변환 모델 TeleStyle이 공개됐다. Qwen-Image-Edit을 기반으로 제작되어 참조 이미지나 텍스트 입력만으로 원본 구도를 유지한 채 화풍을 바꿀 수 있으며, 전용 비디오 모듈로 프레임 간 연속성을 확보했다. 코드와 모델 가중치가 함께 제공된다.
AI 이미지
최신 소식 보기
알리바바, 이미지 생성 AI 파운데이션 모델 'Z-Image' 오픈소스 공개
알리바바 퉁이 연구팀이 이미지 생성 기저 모델 Z-Image를 오픈소스로 공개했다. 증류 전 원본 모델로, 기존 Turbo 버전의 동일 구도나 안면 중복 한계를 개선하고 LoRA 파인튜닝과 부정 프롬프트를 지원한다. 생성 단계는 50단계로 늘어났으며 ComfyUI에서 바로 쓸 수 있다.
ESA 천문학자, AI로 허블 데이터서 미기록 우주 이상 현상 800여 건 발견
유럽우주국(ESA) 연구팀이 개발한 신경망 모델 'AnomalyMatch'가 공개되었다. 허블 아카이브 속 1억 장에 가까운 이미지 조각을 단 이틀 반 만에 분석해, 중력 렌즈와 분류 불가능한 미확인 천체를 포함해 이전까지 기록되지 않은 800여 건의 우주 이상 현상을 찾아냈다.
크레아 AI, '실시간 편집' 베타 시작…대기자 1만 명·Max 대상
크레아 AI가 실시간 이미지 수정 기능인 'Realtime Edit'의 베타 테스트를 시작했다. 대기자 명단 상위 1만 명과 모든 Max 구독자에게 우선 제공된다. 실시간 캔버스 편집을 지원하며, 일반 사용자는 계속 대기 등록을 거쳐야 한다.
구글 딥마인드, 선댄스서 AI 단편 애니 공개: Veo 기반 영상 제어로 완성
구글 딥마인드가 전직 픽사 애니메이터와 협업한 단편 영화 'Dear Upstairs Neighbors'를 선댄스 영화제에서 공개했다. 텍스트 프롬프트 대신 스케치 기반의 비디오 투 비디오 작업 방식과 부분 수정 툴을 도입해 Veo의 무작위성을 통제했다. 전문가의 연출 의도를 지키며 AI를 접목한 실전 워크플로다.
텐센트, 추론 기반 이미지 편집 모델 '혼원 이미지 3.0 인스트럭트' 오픈소스 공개
텐센트가 다중 모드 이미지 편집 모델 'HunyuanImage 3.0-Instruct'를 공개했다. 사고 사슬(CoT)을 내장해 편집할 영역과 단계를 먼저 추론한 뒤 이미지를 생성하는 것이 특징이다. 시점 변경 및 다중 이미지 합성이 가능하며 위안바오 앱에서 바로 써볼 수 있지만, 169GB에 달하는 모델 크기로 인해 구동 시 고사양 VRAM이 필요하다.
구글 딥마인드, 4D 복원 및 추적 모델 D4RT 공개… 속도 최대 300배 향상
구글 딥마인드가 2D 영상에서 3차원 공간과 시간을 동시에 이해하는 4D 모델 'D4RT'를 발표했다. 영상을 전역 시공간 표현으로 압축한 뒤 병렬 쿼리로 필요한 4D 정보를 즉시 추출해 기존보다 최대 300배 빠른 추적 성능을 낸다. 로봇과 AR 기기의 실시간 환경 인식에 핵심 기술이 될 전망이다.
실시간 세그멘테이션 모델 'RF-DETR' 공개, 장당 최단 3.4ms 처리
실시간 이미지 세그멘테이션 모델 'RF-DETR segmentation'이 Apache 2.0 라이선스로 오픈소스 공개됐다. Nano부터 2XLarge까지 6가지 크기를 지원하며, 이미지당 3.4ms(40.3 mAP)에서 21.8ms(49.9 mAP) 사이의 성능을 제공해 엣지 환경에 유용하다.
유튜브, 크리에이터 자신의 ‘AI 분신’으로 쇼츠 제작 지원 예정
유튜브는 크리에이터가 자신의 AI 초상을 활용해 쇼츠 영상을 만들 수 있는 기능을 연내 선보인다고 밝혔습니다. 텍스트 기반 게임 생성도 도입되며, 무단 도용을 방지하기 위한 초상권 관리 도구도 함께 제공됩니다. 정식 출시는 아직 진행되지 않았습니다.
영상 누끼 모델 VideoMaMa: 거친 마스크를 픽셀 단위 매트로 변환
연구진이 영상 확산 모델의 생성 사전지식을 활용해 거친 분할 마스크를 픽셀 단위 알파 매트로 정밀 변환하는 VideoMaMa를 선보였다. 합성 데이터만으로 학습해 뛰어난 실제 영상 일반화 성능을 갖췄으며, 5만 개 규모의 MA-V 데이터셋과 SAM2-Matte도 함께 오픈소스로 공개될 예정이다.
Motion 3-to-4: 단안 비디오를 4D 동적 객체로 변환하고 모션 전이까지 지원
단안 비디오에서 고품질 4D 동적 객체를 생성하는 오픈소스 모델 Motion 3-to-4가 공개되었다. 정적 3D 형상과 모션 재구성을 분리해 프레임별 정점 궤적을 예측하며, 추출한 캐릭터의 움직임을 다른 비디오로 전이할 수 있다.
라이트릭스, 오디오 기반 비디오 생성 기능 공개…음악 박자 맞춰 영상 제작
라이트릭스가 음성, 음악, 효과음을 입력하면 맞춤형 영상을 생성하는 기능을 선보였다. 리듬과 비트를 인식해 오디오와 정확히 싱크를 맞출 수 있어 뮤직비디오나 디지털 휴먼 제작에 유용하다. 텍스트 대신 소리가 영상의 새로운 입력값이 된 셈이다.
오버월드, 키보드와 마우스로 실시간 조작하는 세계 모델 '웨이포인트-1' 오픈소스 공개
오버월드가 키보드와 마우스로 실시간 제어할 수 있는 대화형 비디오 세계 모델 'Waypoint-1'을 오픈소스로 공개했습니다. 1만 시간 분량의 게임 영상으로 학습되어 RTX 5090에서 최대 60FPS의 초저지연 생성을 지원합니다. 아직 일관성 부족과 왜곡 현상이 있지만, 2.3B 소형 모델을 내려받아 로컬에서 실행할 수 있습니다.
메타, 'ShapeR' 공개: 일상 영상에서 크기 정확한 독립 3D 물체 추출
메타가 스마트폰으로 촬영한 영상 시퀀스에서 개별 3D 객체를 재구성하는 프레임워크 'ShapeR'를 오픈소스로 공개했습니다. 공간 전체를 한 덩어리로 생성하던 기존 방식과 달리, SLAM 포인트와 멀티모달 데이터를 활용해 각 물체를 실제 크기에 맞춘 독립된 3D 메시로 복원합니다. 개별 물체 편집이 훨씬 쉬워집니다.
이미지 한 장으로 블렌더 3D 장면 재구성하는 AI 에이전트 'VIGA' 공개
연구진이 2D 이미지를 블렌더에서 편집 가능한 3D 장면 프로그램으로 재구성하는 멀티모달 에이전트 VIGA를 공개했다. 멀티모달 추론과 그래픽스 엔진 루프를 결합해 기본 도형 조립부터 외부 3D 툴 연동까지 지원하며, BlenderBench 테스트에서 기준 모델 대비 124% 이상 향상된 성능을 보였다.
다중 캐릭터 애니메이션 오픈소스 모델 'CoDance' 공개
여러 캐릭터를 하나의 동작 시퀀스로 자연스럽게 움직이게 만드는 'CoDance'가 오픈소스로 공개됐다. 포즈와 위치의 고정된 결합을 풀고 텍스트와 마스크로 대상을 다시 지정해 포즈 불일치 문제를 해결했다. 현재 코드와 모델 가중치가 모두 제공된다.
블랙포레스트랩, 'FLUX.2 클라인' 공개…소비자용 GPU서 1초 내 이미지 생성
블랙포레스트랩이 13GB VRAM 그래픽카드에서 1초 미만에 이미지를 생성·편집할 수 있는 FLUX.2 klein을 출시했다. 아파치 2.0 라이선스의 4B 버전과 가중치가 공개된 9B 버전으로 제공되며, API와 무료 데모 앱도 지원한다.
블랙포레스트랩스, 'FLUX.2 [klein]' 발표…초고속 생성에 4B는 아파치 2.0 개방
블랙포레스트랩스가 1초 미만 추론 속도를 내세운 고속 이미지 생성 모델 'FLUX.2 [klein]'을 선보였다. 4B 및 9B 두 가지 규격으로 제공되며, 특히 4B 모델은 아파치 2.0 라이선스로 오픈소스 공개되어 8.4GB VRAM 환경에서도 로컬 구동이 가능하다.
3D 모델 뼈대 자동으로 심는 'RigMo' 공개: 사람부터 동물·선풍기까지 애니메이션화
3D 메시 시퀀스에서 골격과 동작을 자동으로 추론하는 프레임워크 RigMo 논문이 발표됐다. 사람이 일일이 리깅을 라벨링하지 않아도 인간, 동물, 기계류까지 정확한 뼈대를 구성해 움직이게 만든다. 현재 논문이 공개되었으며 코드와 데이터셋도 곧 오픈소스로 제공될 예정이다.
텐센트 VerseCrafter 공개: 이미지 한 장으로 블렌더에서 카메라와 물체 궤적 직접 제어하는 비디오 생성
텐센트 연구진이 4D 기하학적 제어가 가능한 비디오 월드 모델 VerseCrafter를 공개했습니다. 단일 이미지를 3D 포인트 클라우드로 변환해 블렌더에서 카메라 구도와 물체의 3D 궤적을 직접 지정할 수 있으며, Wan2.1을 기반으로 시공간 일관성이 높은 영상을 생성합니다.