구글 플로우, 스트리트 뷰 연동으로 실제 장소 기반 영상 생성 지원
Google은 Google Flow에 지도 이미지 접지 기능을 도입해 스트리트 뷰 기반의 이미지 및 영상 생성을 지원한다고 발표했다. 프롬프트에 특정 위치나 랜드마크를 입력하면 실제 거리 배경을 반영해 장면을 구현한다. AI 생성이 가상 풍경을 넘어 현실 좌표를 갖게 된 셈이다. 현재는 미국 지역에 한해 지원된다.
AI 동영상
최신 소식 보기
도메인 셔틀: 다양한 참조 이미지의 일관성을 유지하는 오픈소스 비디오 생성기
여러 장의 참조 이미지를 바탕으로 캐릭터 일관성을 유지하는 비디오 생성 도구 Domain Shuttle이 공개됐다. 실사 인물, 2D 애니메이션, 3D 캐릭터가 섞여 있어도 프롬프트에 맞춰 한 장면에 자연스럽게 배치할 수 있다. Wan 2.2 기반으로 제작되었으며, 깃허브에 코드와 35GB 모델 가중치가 공개됐다.
콰이서우, Kling Omni Director 공개: 참고 영상의 카메라 워크를 그대로 복제
콰이서우의 Kling 연구팀이 'Omni Director' 연구 프리뷰를 공개했다. 텍스트 프롬프트 대신 참고 영상의 카메라 움직임, 컷 전환, 불릿 타임 같은 연출 기법을 그대로 학습해 새 이미지로 영상을 생성한다. 현재 코드와 모델은 아직 공개되지 않았다.
구글 딥마인드, 영화 제작사 A24와 AI 파트너십…지분 투자도
구글 딥마인드가 영화 제작사 A24와 차세대 영상 제작을 위한 연구 파트너십을 체결했다. 창작자가 딥마인드의 최첨단 AI 기술 개발에 직접 피드백을 제공하며 영화 제작 도구를 함께 구축하는 방식이다. 구글은 이번 협력과 함께 A24에 대한 지분 투자도 단행했다.
xAI, 'Grok Imagine Video 1.5' 정식 출시: 소라 대비 86% 저렴하게 1위 등극
xAI가 동영상 생성 모델 'Grok Imagine Video 1.5'를 API 및 grok.com에 정식 출시했다. 자기회귀형 Aurora 아키텍처를 기반으로 음성 동기화를 기본 지원하며, 720p 기준 초당 0.14달러로 소라 2 프로 대비 약 86% 저렴하다. 단, 현재 해상도는 최대 720p로 제한된다.
어도비, 프리미어·일러스트레이터에 파이어플라이 AI 어시스턴트 도입
어도비가 파이어플라이 AI 어시스턴트를 프리미어, 일러스트레이터, 인디자인, Frame.io로 확대 적용한다고 발표했다. 영상 클립 자동 분류와 일괄 이름 변경, 레이어 재정리 같은 반복 작업을 지원하며, 생성 요소를 프로젝트 간 공유하는 기능도 비공개 베타로 선보였다.
Ai2, 텍스트로 3D 궤적 예측하는 MolmoMotion 공개
Ai2가 텍스트 명령어에 따라 물체의 미래 3D 궤적을 예측하는 오픈소스 모델 MolmoMotion과 116만 개 궤적 데이터셋을 공개했다. Molmo 2 기반으로 이미지 내 객체 포인트와 텍스트를 입력받아 수 초간의 움직임을 예측한다. 시뮬레이션 집기 작업 성공률은 76.3%에 달한다.
Palmier, 클로드 맞춤형 오픈소스 Mac 영상 편집기 출시
Palmier가 Claude를 위해 제작된 Mac 전용 오픈소스 AI 영상 편집기를 출시했다. 타임라인에서 AI를 활용해 영상을 직접 편집, 정리, 생성할 수 있으며, 기기 내 시맨틱 미디어 검색과 텍스트 변환을 무료로 지원한다. 자체 Anthropic API 키나 MCP로 연동할 수 있고, 유료 플랜을 통해 외부 생성 모델도 확장 가능하다.
알리바바, 조작 가능한 대화형 세계 모델 'HappyOyster 1.0' 공개
알리바바 클라우드가 실시간 상호작용이 가능한 개방형 세계 모델 HappyOyster 1.0을 발표했다. 렌더링을 기다리던 기존 영상 생성과 달리 생성 중 실시간으로 명령을 처리한다. 사용자는 스토리 전개를 도중에 바꾸거나 WASD 키보드로 화면 속 세상을 직접 탐험할 수 있다.
FlexAvatar 공개: 사진 1장으로 2분 만에 360도 3D 아바타 생성
연구진이 단 한 장의 사진으로 표정 제어가 가능한 360도 3D 헤드 아바타를 생성하는 FlexAvatar를 공개했습니다. 단안 영상과 다중 뷰 데이터를 통합 학습해 왜곡을 줄였으며, RTX 3090에서 1.7GB VRAM만으로 20 FPS 실시간 렌더링과 애니메이션을 지원합니다.
바이트댄스, '시댄스 2.0 미니' 출시…가격 절반 낮춰
바이트댄스의 바이트플러스가 영상 생성 모델 '시댄스 2.0 미니(Seedance 2.0 Mini)'를 출시했다. 이미지, 영상, 오디오를 참조해 비디오를 생성하며, 기존 표준 모델 정가의 약 50% 가격으로 빠른 일상 워크플로를 지원한다.
PermaVid: 외형과 3D 구조 분리 기억으로 AI 동영상 편집 일관성 유지
AI 동영상 편집 프레임워크 PermaVid가 공개됐다. 영상 편집 도중 변경 사항이 뒤에서 사라지는 일관성 문제를 해결하기 위해 시각적 외형과 3D 기하학 구조를 두 개의 메모리로 분리해 관리한다. 스타일 변경이나 특정 객체 편집 시에도 구조 왜곡을 방지하며, 로컬 실행 코드가 제공된다.
메타 영상 편집 앱 '에디츠', AI 비서와 데스크톱 버전 도입
수요일 메타가 영상 편집 앱 에디츠(Edits)에 AI 비서와 데스크톱 버전을 추가한다고 예고했다. AI 비서는 인스타그램 조회수와 시청 지속 시간 데이터를 분석해 콘텐츠 아이디어를 추천하며, 데스크톱 버전으로 캡컷(CapCut)과의 경쟁에 나선다. 실험 기능을 미리 써볼 수 있는 베타 탭과 상세 오디언스 분석 도구도 이날 함께 출시됐다.
런웨이, 라이온즈게이트와 협력 확대…오리지널 IP 공동 개발
AI 영상 생성 기업 런웨이가 할리우드 제작사 라이온즈게이트와의 파트너십 확대를 발표했다. 단순 도구 라이선스를 넘어 오리지널 IP를 공동 개발하는 프로그램을 시작한다. 생성형 AI 기술이 할리우드의 핵심 기획 및 제작 과정에 한층 깊숙이 결합하는 사례로 평가받는다.
MoVerse: 한 장의 사진으로 360° 세계 구축, RTX 4090서 8FPS 실시간 탐색
단일 이미지를 실시간 조작 가능한 360° 파노라마 3D 세계로 변환하는 비디오 월드 모델 MoVerse가 공개됐다. 공간 구축과 렌더링을 분리하고 3D 가우시안 기법을 적용해 단일 RTX 4090에서 초당 8프레임 렌더링을 달성했다. 코드와 모델 가중치는 내부 심사 후 공개될 예정이다.
일레븐랩스, 스크립트로 립싱크 영상 만드는 '아바타' 출시
일레븐랩스가 ElevenCreative에 'Avatars' 기능을 추가했다. 단일 인터페이스에서 대본 작성과 음성 선택, 립싱크 영상 생성을 한 번에 처리하며, 사진이나 텍스트로 고정된 외형을 유지할 수 있다. 현재 모든 유료 플랜에 제공된다.
KAIST, 립포싱 공개: 2단계 확산으로 31 FPS 실시간 립싱크 구현
KAIST AI와 AIPARK가 비디오 간 립싱크를 위한 자기회귀 확산 모델 'Lip Forcing'을 발표했다. 14B 교사 모델을 2단계 디노이징 학생 모델로 증류해 1.3B 버전이 단일 H100에서 31 FPS를 기록하며 실시간 기준을 넘어섰다.
HeyGen, 'HyperFrames' 출시: Claude 대화창에서 바로 모션 그래픽과 영상 생성
HeyGen이 Claude와 Claude Code용 공식 커넥터인 'HyperFrames'를 출시했습니다. MCP 기반으로 작동하며, 사용자가 프롬프트로 내용을 설명하면 자막과 내레이션이 포함된 모션 그래픽을 생성해 MP4 영상으로 렌더링해 줍니다. 별도의 영상 편집 프로그램 없이 바로 활용할 수 있습니다.
SCAIL-2 오픈소스 공개: 다중 캐릭터 난투부터 동물까지 동작을 그대로 복사하는 비디오 AI
ZAI가 엔드투엔드 캐릭터 애니메이션 모델 SCAIL-2를 오픈소스로 공개했습니다. 중간 뼈대 추출 없이 동작을 직접 전송해 복잡한 격투 장면뿐 아니라 플라밍고 같은 동물이나 만화 캐릭터에도 자연스럽게 움직임을 입힙니다. 다만 모델 크기가 81GB에 달해 일반 소비자용 기기에서는 양자화 버전을 기다려야 합니다.
실제 사람 움직임으로 제어하는 1인칭 세계 시뮬레이터 '앵커 월드' 공개
실제 3D 인체 움직임으로 제어되는 1인칭 세계 시뮬레이터 'Anchor World'가 공개됐다. 앵커 뷰 이미지와 신체 모션을 결합해 싱크대를 다루거나 칼을 쥐는 상호작용 영상을 1인칭 시점으로 렌더링한다. 휴머노이드 로봇 훈련용 영상 생성에 유용할 것으로 기대되며 현재 코드는 검토 중이다.