바이트댄스, 영상·음성 동시 생성 모델 'Alive' 예고…입모양 완벽 동기화
바이트댄스가 영상과 음성을 한 번에 생성하는 멀티모달 모델 'Alive'를 발표했다. 텍스트나 참조 이미지를 바탕으로 입모양과 표정이 정밀하게 일치하는 유성 영상을 생성하며, 자체 평가에서 Sora를 앞선 것으로 나타났다. 현재 논문만 공개되었으며 코드와 데모는 준비 중이다.
AI 동영상
최신 소식 보기
오토데스크, 구글 제소…AI 영상 제작 툴 '플로우' 상표권 침해 주장
오토데스크가 지난주 금요일 샌프란시스코 연방법원에 구글을 상대로 상표권 침해 소송을 냈다. 오토데스크는 2022년 9월부터 영상 제작 제품군에 써온 '플로우(Flow)' 상표를 구글이 AI 제작 툴에 무단 사용했으며, 상업화하지 않겠다는 약속을 어기고 해외에서 몰래 상표를 출원했다고 주장했다.
칭화대 Xmax AI, 손으로 만지는 실시간 인터랙티브 비디오 모델 'X1' 공개
칭화대 Xmax AI 팀이 가상 캐릭터와 실시간으로 상호작용하는 비디오 모델 'X1'을 공개했습니다. 스마트폰 카메라로 손동작을 인식해 초저지연으로 가상 요소를 만지며 조작할 수 있고 무제한 영상 생성을 지원합니다. 현재 비공개 베타를 진행 중입니다.
자동차 움직임을 늑대에 입히는 FastVMT, 영상 모션 전이 속도 3.4배 향상
영상의 움직임을 새로운 대상에 복제하는 기술 FastVMT가 공개됐다. 자동차 주행 궤적과 카메라 무빙을 텍스트 프롬프트로 늑대나 배 등 다른 피사체에 그대로 입힐 수 있으며, 중복 연산을 제거해 생성 속도를 3.43배 높였다. 정밀한 동작 제어 비용을 크게 낮췄으나 현재는 논문만 공개된 상태다.
영상 더빙과 립싱크를 한 번에 해결하는 오픈소스 도구 'Just Dub It'
영상 다국어 더빙과 입모양 동기화를 함께 생성하는 오픈소스 도구 Just Dub It이 공개됐다. LTX-2 모델 기반 경량 LoRA 어댑터로 작동해 화자의 얼굴 특징을 유지하며 번역 음성과 일치하는 입모양을 만들어낸다. 코드와 가중치가 모두 공개돼 일반 소비자용 GPU에서도 실행할 수 있다.
3D 모델 뼈대 자동 추정하는 'Skin Tokens': 게와 갑충까지 한 번에 리깅
3D 모델의 골격과 스키닝 가중치를 자동 예측하는 기술 'SkinTokens'와 프레임워크 'TokenRig'가 공개됐다. 인간 외에도 조류, 게, 갑충 등 복잡한 비인간 캐릭터까지 처리하며 스키닝 정확도를 최대 133% 끌어올렸다. 정적 3D 모델을 움직이게 만드는 핵심 병목을 뚫어냈다는 평가다.
Kling AI, Kling 3.0 공개…15초 멀티샷 영상 제작 및 4K 이미지 지원
Kling AI가 멀티모달 창작 모델인 Kling 3.0을 공개했다. 이번 모델은 15초 길이의 정밀 제어 멀티샷 영상 제작과 4K 이미지 출력을 지원하며, 다중 캐릭터를 지원하는 네이티브 오디오를 갖췄다. 현재 웹에서 Ultra 구독자 대상으로 우선 제공된다.
OpenAI, 소라 피드 운영 철학 공개: 단순 시청보다 창작 유도 우선
OpenAI는 동영상 생성 AI '소라(Sora)' 피드의 추천 원칙을 공개했다. 수동적인 스크롤 대신 창작을 자극하는 추천 시스템을 적용했으며, 알고리즘 조정 기능과 청소년을 위한 ChatGPT 자녀 보호 기능을 제공해 안전성을 강화했다.
클링, '3D Move' 공개: 새로운 캐릭터로 동작 옮기며 카메라 앵글까지 제어
클링(Kling)이 3D 인식 모션 제어 기술 '3D Move(3DiMo)'를 공개했다. 영상 속 인물의 동작을 실사나 2D 캐릭터로 이전하면서 카메라 줌이나 궤도 회전 같은 앵글을 자유롭게 제어할 수 있다. 손동작 디테일과 공간 일관성을 함께 유지하며, 현재는 논문만 공개된 상태다.
반사와 그림자까지 지우는 영상 객체 제거 도구 'Omnimat Zero' 오픈소스 공개
영상 속 물체뿐만 아니라 바닥 그림자와 반사까지 한 번에 제거해 주는 영상 편집 도구 'Omnimat Zero'의 코드가 공개됐다. 복잡한 장애물을 보존하며 특정 객체만 지우거나 전경을 투명 레이어로 분리할 수 있다.
어도비 파이어플라이, 무제한 생성 도입…런웨이·GPT 모델도 지원
어도비가 파이어플라이 구독자를 대상으로 이미지와 영상 무제한 생성을 지원하기 시작했다. 자체 상업용 모델뿐 아니라 구글 Nano Banana Pro, GPT, 런웨이 Gen-4 등 외부 모델도 포함된다. 3월 16일까지 가입하면 크레딧 소진 걱정 없이 최대 2K 해상도로 자유롭게 작업할 수 있다.
xAI, 'Grok Imagine 1.0' 출시…720p·10초 영상 및 오디오 개선
xAI가 Grok Imagine 1.0을 공개하며 10초 길이 영상, 720p 해상도, 대폭 향상된 오디오 생성을 지원하기 시작했다. xAI에 따르면 Imagine은 최근 30일 동안에만 12억 4500만 개 이상의 동영상을 만들었다. 방대한 사용량 속에서 영상 품질과 길이를 한 단계 끌어올렸다.
텐센트, 사물과 상호작용하는 대화형 AI 아바타 'InteractAvatar' 공개
텐센트 연구진은 주변 사물과 자연스럽게 상호작용하는 디지털 아바타 생성 프레임워크 'InteractAvatar'를 발표했다. 단순히 서서 말만 하던 기존 아바타와 달리, 스마트폰을 집거나 헤드폰을 착용하는 등의 복잡한 연속 동작을 정확한 타임스탬프에 맞춰 제어할 수 있다.
Pipio AI 'EditYourself': 말실수 매끄럽게 잘라내고 대사까지 감쪽같이 수정
Pipio AI 등 연구진이 오디오 기반 비디오 편집 프레임워크 'EditYourself'를 공개했다. 영상 속 인물의 발언 내용을 텍스트처럼 고치거나 추가·삭제할 수 있으며, 말더듬을 잘라내도 립싱크를 완벽히 맞춰 자연스럽게 이어 붙인다. 재촬영 부담을 줄여주지만 딥페이크 분별을 더 어렵게 만든다.
인비디오, 앤트로픽과 손잡고 프롬프트 기반 AI 모션 그래픽 도구 출시
인비디오가 앤트로픽과 협력해 AI 모션 그래픽 도구를 공개했다. 애프터 이펙트나 템플릿, 코딩 없이 한 줄의 프롬프트만으로 전문가 수준의 모션 디자인을 구현할 수 있다. 인비디오는 이를 모션 디자인을 위한 '바이브 코딩'이라 소개하며 작업 문턱을 크게 낮췄다.
구글, 실시간 탐험 가능한 가상 세계 생성기 '프로젝트 지니' 공개
구글 딥마인드가 세계 모델 지니 3 기반의 실험용 프로토타입 '프로젝트 지니'를 공개했습니다. 텍스트나 이미지를 입력하면 물리 법칙이 적용된 대화형 가상 세계를 실시간으로 구축해 직접 조작하고 탐험할 수 있습니다. 현재는 미국 내 구글 AI 울트라 구독자 대상이며 생성 시간은 60초로 제한됩니다.
유튜브, 구독자 590만 명 달하는 대형 AI 쓰레기 채널 전격 삭제
더버지에 따르면 유튜브가 구독자 590만 명, 누적 조회수 12억 회를 기록한 대형 AI 쓰레기 콘텐츠 채널을 포함해 다수의 채널을 삭제했다. 유튜브 측은 스팸 및 기만 행위 정책 위반에 따른 조치라며 저품질 AI 영상 차단에 속도를 내고 있다.
애플, 파이널컷·로직 프로 업데이트: 자연어 영상 검색과 AI 신스 연주자 탑재
애플이 Mac과 iPad용 파이널컷 프로와 로직 프로 업데이트를 출시했다. 파이널컷 프로에는 자연어로 특정 행동이나 대사를 찾는 비주얼·대본 검색이 추가되었으며, 로직 프로에는 AI 기반 신스 세션 플레이어와 루프 검색이 도입됐다. 방대한 원본 영상과 샘플을 일일이 뒤지는 수고를 덜어준다.
OpenMOSS, 영상·음성 동시 생성 모델 'MOVA' 오픈소스 공개
OpenMOSS가 단일 모델 내에서 영상과 싱크된 음성을 동시에 생성하는 'MOVA'를 오픈소스로 공개했다. 320억 개 파라미터의 MoE 구조로 180억 개가 활성화되며 정밀한 립싱크를 지원한다. 깃허브에 코드와 가중치가 공개되었으나, 720p 버전은 약 77GB에 달해 고사양 GPU가 필요하다.
LingBot-World: 16 FPS 실시간 상호작용 오픈소스 월드 모델
robbyant가 Wan2.2 기반 월드 시뮬레이터 'LingBot-World'를 공개했다. 텍스트나 이미지로 480P 및 720P 인터랙티브 환경을 16 FPS, 1초 미만 지연 속도로 생성하며 분 단위 장기 일관성을 유지한다. 폐쇄형 인터랙티브 모델에 맞서는 유의미한 오픈소스 대안이다.