xAI, 고속 오디오·비디오 동시 생성 지원하는 'Grok Imagine API' 공개
xAI가 텍스트와 이미지로부터 네이티브 오디오를 포함한 비디오를 생성하는 'Grok Imagine API'를 공개했다. 고화질은 물론 지연 시간과 비용을 대폭 줄였으며 오브젝트 수정, 캐릭터 애니메이션 등 정밀 편집도 지원한다. 속도와 가격 경쟁력을 앞세워 창작자의 신속한 반복 실험을 돕는 것이 핵심이다.
AI 동영상
최신 소식 보기
TeleStyle 오픈소스 공개: 참조 이미지로 사진과 비디오 화풍 일괄 변환
이미지와 비디오 스타일 변환 모델 TeleStyle이 공개됐다. Qwen-Image-Edit을 기반으로 제작되어 참조 이미지나 텍스트 입력만으로 원본 구도를 유지한 채 화풍을 바꿀 수 있으며, 전용 비디오 모듈로 프레임 간 연속성을 확보했다. 코드와 모델 가중치가 함께 제공된다.
텐센트, 대화를 영화급 영상으로 만드는 'ScriptAgent' 공개
텐센트가 대화 텍스트를 영화풍 영상으로 제작하는 프레임워크 ScriptAgent를 공개했다. 각본 작성, 모델 연출, 영상 평가를 맡은 세 에이전트가 협업해 Sora2-Pro 등 최신 영상 모델의 장면 간 일관성을 유지한다. 연구진은 전용 벤치마크인 ScriptBench도 함께 공개했다.
구글 딥마인드, 선댄스서 AI 단편 애니 공개: Veo 기반 영상 제어로 완성
구글 딥마인드가 전직 픽사 애니메이터와 협업한 단편 영화 'Dear Upstairs Neighbors'를 선댄스 영화제에서 공개했다. 텍스트 프롬프트 대신 스케치 기반의 비디오 투 비디오 작업 방식과 부분 수정 툴을 도입해 Veo의 무작위성을 통제했다. 전문가의 연출 의도를 지키며 AI를 접목한 실전 워크플로다.
루마 AI, Ray3.14 공개: 네이티브 1080p 영상 생성 속도 4배 향상·비용 3분의 1 절감
루마 AI가 영상 추론 모델 'Ray3.14'를 발표했다. 네이티브 1080p 출력을 지원하며 생성 속도는 4배 빨라지고 초당 비용은 3분의 1로 줄었다. 카메라 움직임과 조명 안정성을 대폭 개선해 후가공 없이도 실제 영상 제작 현장에 즉시 쓸 수 있다.
런웨이, Gen-4.5 이미지 투 비디오 출시: 진짜 구분한 사람 10% 불과
런웨이(Runway)가 Gen-4.5에 이미지 기반 비디오 생성 기능을 추가했다. 자체 실험 결과 생성된 영상의 진위를 구분해낸 참가자는 10%에 불과했다. 아티피셜 애널리시스 1위에 오른 가운데, 런웨이는 AI 미디어가 사회적 임계점에 도달했다고 경고했다.
유튜브, 크리에이터 자신의 ‘AI 분신’으로 쇼츠 제작 지원 예정
유튜브는 크리에이터가 자신의 AI 초상을 활용해 쇼츠 영상을 만들 수 있는 기능을 연내 선보인다고 밝혔습니다. 텍스트 기반 게임 생성도 도입되며, 무단 도용을 방지하기 위한 초상권 관리 도구도 함께 제공됩니다. 정식 출시는 아직 진행되지 않았습니다.
영상 누끼 모델 VideoMaMa: 거친 마스크를 픽셀 단위 매트로 변환
연구진이 영상 확산 모델의 생성 사전지식을 활용해 거친 분할 마스크를 픽셀 단위 알파 매트로 정밀 변환하는 VideoMaMa를 선보였다. 합성 데이터만으로 학습해 뛰어난 실제 영상 일반화 성능을 갖췄으며, 5만 개 규모의 MA-V 데이터셋과 SAM2-Matte도 함께 오픈소스로 공개될 예정이다.
Motion 3-to-4: 단안 비디오를 4D 동적 객체로 변환하고 모션 전이까지 지원
단안 비디오에서 고품질 4D 동적 객체를 생성하는 오픈소스 모델 Motion 3-to-4가 공개되었다. 정적 3D 형상과 모션 재구성을 분리해 프레임별 정점 궤적을 예측하며, 추출한 캐릭터의 움직임을 다른 비디오로 전이할 수 있다.
옴니트랜스퍼 공개: 영상 하나로 특수효과·동작·카메라 워크까지 복제
Wan 2.1 기반 비디오 전이 프레임워크 옴니트랜스퍼(OmniTransfer)가 공개됐다. 복잡한 포즈 추출이나 카메라 궤적 계산 없이도 참조 영상의 시각 효과, 인물 움직임, 촬영 구도, 스타일을 단일 모델에서 새 이미지로 매끄럽게 복제해 준다.
라이트릭스, 오디오 기반 비디오 생성 기능 공개…음악 박자 맞춰 영상 제작
라이트릭스가 음성, 음악, 효과음을 입력하면 맞춤형 영상을 생성하는 기능을 선보였다. 리듬과 비트를 인식해 오디오와 정확히 싱크를 맞출 수 있어 뮤직비디오나 디지털 휴먼 제작에 유용하다. 텍스트 대신 소리가 영상의 새로운 입력값이 된 셈이다.
어도비, 프리미어에 온디바이스 AI 마스크 탑재…트래킹 속도 최대 20배 향상
어도비가 프리미어에 온디바이스 AI 기반 '오브젝트 마스크'를 도입했다. 움직이는 피사체 위에 마우스를 올리고 클릭하기만 하면 정밀하게 추적하며, 셰이프 마스크의 트래킹 속도도 최대 20배 빨라졌다. Firefly Boards 에셋 가져오기도 지원하며 After Effects 26.0도 함께 공개됐다.
오버월드, 키보드와 마우스로 실시간 조작하는 세계 모델 '웨이포인트-1' 오픈소스 공개
오버월드가 키보드와 마우스로 실시간 제어할 수 있는 대화형 비디오 세계 모델 'Waypoint-1'을 오픈소스로 공개했습니다. 1만 시간 분량의 게임 영상으로 학습되어 RTX 5090에서 최대 60FPS의 초저지연 생성을 지원합니다. 아직 일관성 부족과 왜곡 현상이 있지만, 2.3B 소형 모델을 내려받아 로컬에서 실행할 수 있습니다.
Remotion 에이전트 스킬 출시: 말만 하면 Claude Code가 모션 그래픽 영상을 렌더링까지 완성
Remotion의 Agent Skills를 활용해 Claude Code 등 AI 에이전트에 자연어 지시만 내려도 UI와 3D 애니메이션이 담긴 모션 그래픽 영상을 자동 코딩·렌더링하는 사례가 공개됐습니다. AE나 프리미어 없이 프롬프트만으로 제품 데모 영상을 제작할 수 있습니다.
다중 캐릭터 애니메이션 오픈소스 모델 'CoDance' 공개
여러 캐릭터를 하나의 동작 시퀀스로 자연스럽게 움직이게 만드는 'CoDance'가 오픈소스로 공개됐다. 포즈와 위치의 고정된 결합을 풀고 텍스트와 마스크로 대상을 다시 지정해 포즈 불일치 문제를 해결했다. 현재 코드와 모델 가중치가 모두 제공된다.
실시간 디지털 휴먼 생성 모델 'FlowAct-R1' 공개: 25fps로 무제한 생성
연구진이 실시간 인터랙티브 디지털 휴먼 생성 모델 'FlowAct-R1'을 공개했다. 스트리밍 자기회귀 구조를 적용해 480p 해상도에서 25fps 실시간 생성과 약 1.5초의 첫 프레임 지연 시간을 달성했다. 자연스러운 동작을 유지하며 무제한 길이의 실시간 방송과 소통이 가능해졌다.
컬럼비아대, 유튜브 보고 립싱크 배우는 실리콘 로봇 얼굴 개발
컬럼비아 공대 연구진이 26개의 초소형 모터가 장착된 실리콘 로봇 얼굴을 공개했다. 사전 프로그래밍된 규칙 대신 거울과 유튜브 영상을 통해 음성에 맞춰 입모양을 맞추는 법을 스스로 학습했다. 11개 언어에 걸쳐 기존 방식을 능가하며, ChatGPT와 결합해 어색함을 크게 줄였다.
구글 Veo 3.1 업데이트: 세로 화면·4K 지원, 참조 이미지로 캐릭터 일관성 개선
구글이 동영상 생성 모델 Veo 3.1을 업데이트하고 이미지 기반 비디오 기능에 9:16 세로 비율과 최대 4K 해상도를 추가했다. 참조 이미지를 활용해 다른 장면에서도 인물과 배경의 일관성을 유지할 수 있어 숏폼 제작에 유용하다. Gemini 앱 등에서 쓸 수 있다.
픽스버스, 실시간 세계 모델 'R1' 공개: 영상 생성 중에 프롬프트로 즉각 개입
PixVerse가 실시간 대화형 세계 모델 'PixVerse R1'을 발표했다. 렌더링을 기다릴 필요 없이 연속으로 1080P 영상을 스트리밍하며, 중간에 프롬프트를 넣어 사물을 즉시 추가하거나 바꿀 수 있다. 아직 일관성 부족과 왜곡 현상이 있지만, AI 영상을 실시간 시뮬레이션으로 전환했다는 점에서 주목할 만하다.
3D 모델 뼈대 자동으로 심는 'RigMo' 공개: 사람부터 동물·선풍기까지 애니메이션화
3D 메시 시퀀스에서 골격과 동작을 자동으로 추론하는 프레임워크 RigMo 논문이 발표됐다. 사람이 일일이 리깅을 라벨링하지 않아도 인간, 동물, 기계류까지 정확한 뼈대를 구성해 움직이게 만든다. 현재 논문이 공개되었으며 코드와 데이터셋도 곧 오픈소스로 제공될 예정이다.