'비디오판 컨트롤넷' 등장…CogOmniControl, 거친 스케치로 영상 정밀 제어
다중 입력을 활용한 영상 제어 프레임워크 'CogOmniControl' 논문이 공개됐다. 단 3프레임의 거친 스케치나 포즈 골격, 참조 이미지를 조합해 의도에 맞춘 영상을 생성한다. 전문 제작 워크플로를 겨냥했으나, 현재는 논문만 발표된 상태다.
AI 동영상
최신 소식 보기
오디세이, 실시간 음·영상 생성 세계 모델과 4인 멀티플레이 '아고라-1' 공개
오디세이가 사용자 입력에 맞춰 실시간으로 음성과 영상을 동기화해 생성하는 '스타차일드-1'과 최대 4명의 플레이어가 함께 접속하는 '아고라-1'을 공개했다. 정적인 영상 클립 렌더링을 넘어 상태를 공유하고 조작할 수 있는 인터랙티브 시뮬레이션 환경을 구현했다.
Meta, 잠재 공간 건너뛰고 원본 파형서 직접 오디오 생성하는 WavFlow 공개
Meta는 VAE나 잠재 공간 압축 없이 원본 파형에서 직접 44.1kHz 고음질 오디오를 생성하는 WavFlow를 공개했습니다. 무음 영상에 드럼 등 동작에 맞춘 효과음을 입힐 수 있습니다. 다만 사내 정책 제한으로 공식 저장소에는 학습 스크립트만 공개되었고 완전한 가중치는 제외되었습니다.
바이트댄스, 이미지·영상 통합 AI 모델 '랜스' 오픈소스 공개
바이트댄스가 이미지와 영상의 이해·생성·편집을 모두 아우르는 통합 멀티모달 모델 '랜스(Lance)'를 오픈소스로 공개했다. 활성 파라미터 30억 개로 멀티턴 대화를 통한 영상 편집이 가능하지만, 로컬 구동에는 최소 40GB VRAM이 필요하다.
InstructAV2AV 공개: 텍스트 한 줄로 영상과 음성을 동시 편집한다
텍스트 명령만으로 비디오 영상과 배경 오디오를 한 번에 수정하는 프레임워크 InstructAV2AV가 공개됐다. 마스크 작업 없이도 인물 교체, 대사 수정, 소리 추가 및 삭제가 가능하며, 배경은 그대로 유지한 채 화면과 소리를 자연스럽게 동기화한다.
GPT Image 2와 Seedance 2.0의 결합: 12컷 스토리보드로 애니메이션 제작
창작자들 사이에서 ChatGPT Image 2로 연출 메모가 포함된 12컷 스토리보드를 생성한 뒤, Seedance 2.0에 연결해 완성도 높은 영상으로 변환하는 워크플로가 주목받고 있습니다. 노드 기반 플랫폼과 결합해 개인 제작 효율을 크게 높였습니다.
알리바바, 패션카멜레온 공개: 영상 생성 중 23.8 FPS로 실시간 의상 교체
알리바바가 실시간 비디오 가상 피팅 프레임워크 '패션카멜레온(FashionChameleon)'을 발표했습니다. 영상이 생성되는 동안 사용자가 실시간으로 의상을 바꿀 수 있으며, 단일 GPU에서 23.8 FPS 속도로 동작의 흐름을 유지합니다. 현재 코드와 가중치는 공개를 준비 중입니다.
영상 단 한 편으로 AI 카메라 앵글 제어…‘Warp-as-History’ 공개
상하이교통대와 상하이 AI 랩 등 연구진이 영상 단 한 편의 경량 튜닝만으로 정밀한 카메라 제어가 가능한 ‘Warp-as-History’를 발표했다. 카메라 시점 변형을 기존 영상 기록처럼 입력하는 방식을 적용해, 별도 제어 모듈 없이도 미학습 장면에서 정확한 구도 이동과 자연스러운 배경 완성을 구현한다.
엔비디아 월드 모델 'SANA-WM' 공개: 단일 5090서 1분 영상 34초 만에 생성
엔비디아가 키보드 입력으로 시점을 조작할 수 있는 26억 매개변수 오픈소스 월드 모델 'SANA-WM'을 발표했다. 증류 버전을 통해 단일 RTX 5090 환경에서 720p 1분 영상을 34초 만에 생성하며 장면 일관성을 유지한다. 가중치는 곧 오픈소스로 공개될 예정이다.
ReactiveGWM 공개: 프롬프트로 NPC 전술까지 조종하는 게임 월드 모델
게임 월드 모델 ReactiveGWM이 공개되었다. 플레이어의 키 조작과 NPC의 행동 전략을 분리해, 프롬프트로 적의 공격이나 수비 전술을 제어할 수 있다. Wan 2.2를 기반으로 하며 로컬 중고급 GPU에서 직접 실행할 수 있다.
폴 러드·크리스 록 주연의 실사·AI 융합 영화, 칸 영화제서 공개
대런 애러노프스키가 제작하고 더스틴 옐린이 연출한 실사·AI 결합 영화가 다음 주 칸 영화제에서 첫선을 보인다. 폴 러드와 크리스 록이 주연을 맡아 실제 촬영본과 AI 생성 화면을 조합했다. 정상급 할리우드 창작진이 참여한 생성형 AI 영상 프로젝트가 주류 영화제 무대에 오르는 상징적 사례다.
LTX-Video 전용 픽사 스타일 LoRA 공개: 3D 애니메이션 질감 영상 구현
허깅페이스에 LTX-Video 모델용 픽사 스타일 LoRA가 공개됐다. 기존 영상의 저작권 이미지를 쓰지 않고 학습됐으며, 'P1x4r' 트리거 단어를 통해 특유의 부드러운 표면 질감과 풍부한 눈빛, 시네마틱 조명을 연출한다. Diffusers 및 Draw Things 등 로컬 도구에서 손쉽게 불러와 실행할 수 있다.
AI 영상의 인체 왜곡 잡는 'PhyMotion' 공개: 물리 시뮬레이터로 움직임 채점
AI 영상 속 부자연스러운 인체 움직임을 바로잡는 보상 프레임워크 'PhyMotion'의 코드가 공개됐다. 생성된 영상에서 3D 인체를 추출해 MuJoCo 물리 시뮬레이터에서 관절과 접지 상태를 평가하는 방식으로, 요가나 무술 등 복잡한 동작의 사지 왜곡을 크게 줄여준다.
구글, 새 비디오 모델 '제미나이 옴니' 공개: 대화형 영상 편집 지원
구글의 새로운 멀티모달 모델 '제미나이 옴니'가 모습을 드러냈다. 텍스트, 이미지, 음성을 통합 추론해 일관된 비디오를 생성하며, 자연어 대화로 영상을 직접 수정할 수 있다. 첫 모델인 옴니 플래시는 10초 분량 생성을 지원한다.
비디오 재조명 프레임워크 Relit-LiVE: 카메라 트래킹 없이 안정적인 물리 광원 구현
연구진이 사전 카메라 포즈 데이터 없이 비디오 조명을 재구성하는 프레임워크 Relit-LiVE를 공개했습니다. 재조명된 프레임과 프레임별 왜곡 환경 맵을 함께 생성해 긴 영상에서도 반사와 그림자를 물리적으로 안정되게 유지하며, 재질 교체와 디라이팅 편집도 지원합니다.
일레븐랩스, 타임라인 편집기에 AI 협업 도구 '스튜디오 에이전트' 탑재
일레븐랩스는 ElevenCreative 플랫폼의 타임라인 편집기인 Studio에 AI 공동 편집 도구 'Studio Agent'를 추가했다. 창작자와 마케터는 외부 툴로 이동할 필요 없이 한 타임라인에서 AI와 협업하며 음성, 음악, 음향 효과, 영상을 손쉽게 믹싱할 수 있다.
LTX 스튜디오, 노드 기반 캔버스 '플로우스' 출시…반복 생성 자동화
LTX Studio는 맞춤형 비주얼 생성 워크플로를 구축할 수 있는 노드 기반 캔버스 'Flows'를 출시했다. 시각적 노드 환경에서 작업 로직을 한 번 설계하면 필요할 때마다 배치를 반복 실행할 수 있다. 매번 파이프라인을 새로 짤 필요 없이 이미지와 영상 작업을 자동화해 작업 효율을 높였다.
2K 이미지-비디오 생성 모델 '스위프트I2V' 공개…RTX 4090 단일 구동에 시간 202배 단축
단일 이미지를 최대 81프레임의 2K 고해상도 비디오로 변환하는 프레임워크 '스위프트I2V(SwiftI2V)'가 발표됐다. 저해상도 모션 참조를 먼저 만든 뒤 조건부 세그먼트 생성으로 고품질 영상을 완성하는 방식이다. 계산 시간을 202배 줄여 고성능 클러스터 없이 24GB VRAM의 RTX 4090 한 장으로도 구동할 수 있다.
비디오 리버스, 사운드 포함 30초 멀티샷 비디오 모델 Bach 1.0 출시
스타트업 비디오 리버스가 AI 비디오 엔진 Bach 1.0을 선보였습니다. 네이티브 1080p 화질과 음향이 포함된 최장 30초 멀티샷 영상을 만들며, 컷 간 캐릭터 일관성과 카메라 연출 제어에 집중했습니다. Artificial Analysis 벤치마크 6위에 올랐으며 웹사이트에서 무료 체험이 가능합니다.
Sprite-Pipeline: AI 생성 영상을 게임용 2D 스프라이트 시트로 변환
오픈소스 도구 Sprite-Pipeline이 공개되었다. AI로 만든 캐릭터 모션 영상에서 FFmpeg로 프레임을 추출하고 배경을 투명화해 Unity나 Godot에서 바로 쓸 수 있는 256×256 가로형 스프라이트 시트로 패키징한다. 로컬 브라우저 뷰어와 프롬프트 가이드도 함께 제공해 인디 게임 개발자의 에셋 제작을 돕는다.