실제 도시 누비는 '서울 월드 모델' 공개…거리뷰 RAG로 수 킬로미터 생성
실제 서울 대도시 환경에 기반한 '서울 월드 모델(SWM)' 연구가 발표됐다. 수백만 장의 실제 거리뷰 이미지를 검색 증강(RAG) 앵커로 활용해 수 킬로미터에 달하는 이동 경로를 왜곡 없이 비디오로 렌더링하며, 텍스트 프롬프트로 쓰나미 같은 장면 연출도 지원한다.
AI 동영상
최신 소식 보기
알리바바, 입술 모양 맞추는 영상 더빙 AI 'Fun-CineForge' 공개
알리바바가 영상 속 입술 움직임에 맞춰 대사를 생성하는 멀티모달 더빙 모델 Fun-CineForge를 오픈소스로 공개했다. 시간 정보를 독립 모달리티로 다뤄 얼굴 가림이나 빠른 화면 전환 속에서도 캐릭터별 음성과 타이밍을 정밀하게 맞춰준다.
Pulse of Motion: 물리 프레임 측정으로 AI 영상의 어색한 속도 바로잡는다
연구팀이 AI 영상의 시간 감각 오류인 '계시 환각'을 교정하는 Pulse of Motion을 오픈소스로 공개했다. 화면 속 움직임에서 실제 물리 프레임 레이트를 추정해 정상 재생 속도로 맞춰주는 방식이다. 2GB 미만의 소형 모델이라 일반 소비자용 기기에서도 부담 없이 실행할 수 있다.
바이트댄스, 저작권 논란과 미 의회 압박에 'Seedance 2.0' 글로벌 출시 중단
바이트댄스가 주말 사이 AI 동영상 생성기 'Seedance 2.0'의 글로벌 출시를 중단했다. 헐리우드 영화 협회의 경고와 미 상원의원들의 즉각 폐쇄 요구에 직면했기 때문이다. 유명 캐릭터 및 초상권 침해 지적에 바이트댄스는 보호 조치를 강화하겠다고 밝혔다.
끊기는 2D 영상으로 매끄러운 전신 4D 애니메이션 만드는 'Retime GS'
일반 2D 영상 프레임으로 전신 4D 애니메이션을 생성하는 AI 기술 'Retime GS'가 공개됐다. 영상에 프레임 누락이 있어도 연속 시간 3D 표현과 개선된 4D 가우시안 스플래팅을 통해 모션을 자연스럽게 채워 넣으며 아티팩트를 크게 줄였다.
숏폼으로 변신하는 피콕: NBC유니버설, AI 세로형 라이브 및 디지털 아바타 피드 도입
NBC유니버설이 피콕(Peacock) 모바일 앱에 대규모 AI 기능을 도입한다고 발표했다. 올여름 공개될 'Your Bravoverse'는 신세시아 기술로 제작된 앤디 코언의 디지털 아바타와 AI 에이전트를 통해 5,000시간 분량의 브라보 쇼 클립을 무한 스크롤 피드로 제공한다. 올봄에는 AI 실시간 크롭 기술을 적용한 9:16 세로형 NBA 라이브 중계도 시범 도입된다.
OpenAI, Video API 기능 확장: Sora 2 기반 커스텀 캐릭터 및 20초 생성 지원
OpenAI가 Sora 2 모델을 활용한 Video API 신기능을 공개했습니다. 최대 20초 영상 생성, 커스텀 캐릭터 및 객체 추가, 16:9와 9:16 화면비 지원, 장면 확장, 일괄 작업 처리가 가능해집니다. 이를 통해 영상 애플리케이션 개발 시 더 정밀한 제어와 유연성을 확보할 수 있습니다.
오픈AI, 동영상 생성 AI '소라' 챗GPT 내 직접 탑재 추진
디인포메이션에 따르면 오픈AI가 동영상 생성 모델 소라(Sora)를 챗GPT에 직접 통합할 계획이다. 현재 독립 웹사이트와 앱으로만 제공되는 소라를 챗GPT에 내장해 클로드와의 경쟁 속에서 이탈한 사용자를 되찾으려는 움직임으로 보이지만, 연산 비용 증가와 딥페이크 확산 우려도 함께 제기된다.
런웨이, 차세대 AI 비디오 실험실 '런웨이 랩스' 출범
런웨이는 생성형 비디오와 범용 세계 모델 기반의 차세대 응용 프로그램을 발굴하기 위한 사내 인큐베이터 '런웨이 랩스'를 설립했다고 발표했다. 공동 창업자 알레한드로 마타말라 오르티스가 이끌며, 영화와 의료, 게임 등 다양한 산업군을 위한 신규 프로토타입 제작에 나선다.
영상과 음성을 한 번에, 일체형 디지털 휴먼 모델 'ID Laura' 오픈소스 공개
올인원 디지털 휴먼 생성 모델 ID Laura가 오픈소스로 공개됐다. 음성을 먼저 복제하고 영상 입모양을 맞추던 기존 2단계 방식 대신, 단일 모델 안에서 영상·음성·배경음을 한 번에 동기화해 생성한다. LTX 2.3 기반으로 구동에 최소 24GB, 권장 48GB의 VRAM이 필요하다.
엔비디아, ComfyUI에 간편 모드와 4K 초해상도 노드 지원
엔비디아가 이번 주 GDC에서 ComfyUI 지원 신규 기능을 공개했다. 복잡한 노드 연결 없이 프롬프트만으로 영상을 생성하는 '앱 뷰'와 기존 대비 최대 30배 빠른 RTX 4K 초해상도 노드를 추가했다. RTX 50 시리즈 기반 NVFP4 모델을 활용하면 VRAM 사용량도 60% 절감된다.
UCL 연구팀, 생쥐 뇌 신호만으로 10초 분량 영상 복원 성공
유니버시티 칼리지 런던(UCL) 연구진은 생쥐 시각 피질의 단일 세포 신경 활동 데이터만으로 10초 분량의 영상을 재구성하는 데 성공했다고 발표했다. fMRI 대신 미세 신경 기록과 동공·움직임 데이터를 결합한 동적 신경 모델을 사용했으며, 추적 뉴런 수가 늘어날수록 복원 정확도가 높아졌다.
MatAnyone 2 오픈소스 공개: 140MB 초경량 모델로 정밀 영상 누끼 따기
그린스크린 없이 영상 배경을 깔끔하게 지워주는 오픈소스 모델 MatAnyone 2가 공개되었습니다. 약 140MB 크기에도 불구하고 머리카락과 빠른 움직임을 정밀하게 분리해 내며, Hugging Face에서 무료 데모를 체험할 수 있습니다.
타부스, 실시간 감정·의도 인식 멀티모달 시스템 '레이븐-1' 공개
타부스(Tavus)가 대화 상대의 어조와 표정을 실시간으로 파악하는 멀티모달 인식 시스템 '레이븐-1(Raven-1)'을 공개했다. 감정을 단순 분류하지 않고 자연어로 묘사하며, 음성과 영상을 300ms 이내 지연 시간으로 처리한다. OpenAI 호환 도구 호출도 지원해 텍스트에만 의존하던 대화형 AI가 뉘앙스와 맥락을 정확히 읽어낼 수 있게 돕는다.
CubeComposer: 일반 단안 영상을 360도 파노라마로 확장, 4K 지원
연구진이 일반 카메라로 찍은 단안 영상을 360도 파노라마 영상으로 변환하고 4K 업스케일링을 지원하는 CubeComposer를 오픈소스로 공개했습니다. 확산 모델로 구체의 6면을 나누고 희소 어텐션으로 카메라 뒤쪽 풍경을 채워 넣으며, Argus 같은 경쟁 모델보다 뛰어난 품질을 보여주지만 아직 일부 왜곡은 남아 있습니다.
텐센트, 영상 특수효과 복제 프레임워크 EffectMaker 공개
텐센트 훈위안 연구팀이 영상 VFX 커스텀 프레임워크 EffectMaker를 공개했다. 개별 미세조정 없이 레퍼런스 영상의 특수효과를 새 대상에 직접 복제할 수 있으며, 13만 개 영상 규모의 데이터셋도 함께 구축했다.
라이트릭스, 오픈소스 비디오 모델 LTX-2.3 공개: 세로형 비디오 지원과 무료 로컬 편집기 탑재
Lightricks가 오픈소스 비디오·오디오 생성 모델 LTX-2.3과 로컬 비디오 편집기 LTX Desktop을 공개했다. VAE와 보코더를 전면 개편해 텍스처 디테일과 음질을 대폭 개선했고, 1080×1920 네이티브 세로형 출력을 최초로 지원한다. 연매출 1,000만 달러 미만 기업은 무료 상업 이용이 가능하며 Hugging Face에서 내려받을 수 있다.
RealWonder 공개: 가상 외력을 주면 물체의 움직임을 13 FPS로 실시간 비디오 생성
단일 이미지에서 물리적 외력에 따른 움직임을 실시간 비디오로 생성하는 오픈소스 프로젝트 RealWonder가 공개되었다. 물체에 바람이나 수류 등 가상 힘을 가하면 그에 따른 반응을 실시간으로 시뮬레이션하며, H200 GPU에서 480p 기준 초당 13프레임을 구현했다. 현재 코드와 가중치가 모두 공개되었다.
루마, 크리에이티브 AI 에이전트 출시: 새 통합 모델 Uni-1 기반 제작 자동화
루마가 새로운 멀티모달 추론 모델 'Uni-1' 기반의 크리에이티브 에이전트 플랫폼 '루마 에이전트'를 공개했습니다. 텍스트, 이미지, 비디오, 오디오를 아우르는 엔드투엔드 작업을 수행하며, 구글 Veo 3 등 외부 모델과 협업해 결과물을 자체 검토·수정합니다. 현재 API를 통해 순차 출시 중입니다.
넷플릭스, 벤 애플렉이 설립한 영상 제작 AI 스타트업 인수
넷플릭스가 배우 겸 감독 벤 애플렉이 2022년 설립한 영상 제작 AI 스타트업 인터포지티브를 인수했다고 발표했다. 인터포지티브는 전용 세트장에서 촬영한 자체 데이터를 기반으로 조명과 편집의 일관성 등 영화 문법을 이해하는 AI 모델을 만든다. 애플렉은 넷플릭스 시니어 어드바이저로 합류한다.