바이트댄스, 텍스트로 영상 만드는 '지멍 AI' iOS 앱 출시
바이트댄스가 텍스트 프롬프트로 이미지와 영상을 생성하는 '지멍 AI' iOS 버전을 중국 앱스토어에 출시했다. 안드로이드와 데스크톱에 이은 배포다. 무료 이용자는 이미지 80장과 영상 26개까지 만들 수 있으며, 추가 이용 시 월 69위안(약 9.70달러)의 구독료가 부과된다.
바이트댄스가 텍스트 프롬프트로 이미지와 영상을 생성하는 '지멍 AI' iOS 버전을 중국 앱스토어에 출시했다. 안드로이드와 데스크톱에 이은 배포다. 무료 이용자는 이미지 80장과 영상 26개까지 만들 수 있으며, 추가 이용 시 월 69위안(약 9.70달러)의 구독료가 부과된다.
외신 404 미디어는 엔비디아가 '코스모스(Cosmos)' AI 모델 학습을 위해 유튜브와 넷플릭스 등에서 방대한 분량의 영상을 스크래핑했다고 보도했다. 내부 직원들이 저작권 문제를 제기했으나 경영진은 최고위층의 승인을 받았다고 일축했다. 엔비디아 측은 저작권법을 철저히 준수하고 있다는 입장이다.
동영상 플랫폼 Vimeo가 화자의 원래 목소리와 톤을 그대로 복제해 번역해 주는 생성형 AI 영상 번역 솔루션을 출시했다. 50개 이상의 언어로 된 영상을 29개 언어로 변환할 수 있으며, 시청자는 플레이어에서 번역된 오디오를 직접 선택해 들을 수 있다. 글로벌 기업 교육 및 마케팅 현지화 비용을 대폭 절감해 줄 것으로 기대된다.
런웨이가 기존 모델 대비 7배 빠른 비디오 생성 AI 'Gen-3 Alpha Turbo'를 공개했다. 10초 분량의 영상을 약 11초 만에 실시간에 가깝게 생성할 수 있으며, 기존보다 저렴한 가격으로 며칠 내 순차 적용될 예정이다.
엔비디아가 SIGGRAPH에서 대화형 디지털 휴먼 '제임스(James)'와 Maxine 3D를 공개했다. 제임스는 엔비디아 ACE와 일레븐랩스 음성 기술을 바탕으로 유머와 감정을 섞어 실시간으로 대화한다. 일반 2D 인물 영상을 3D 아바타로 변환해 화상회의에 쓰는 Maxine 3D도 함께 선보였다.
런웨이는 동영상 생성 AI '젠-3 알파'에 이미지 투 비디오 기능을 추가했다. 사용자는 정지 이미지를 첫 프레임으로 지정하고 텍스트 프롬프트와 조합해 영상을 제작할 수 있다. 이를 통해 영상의 일관성과 창작 제어력이 대폭 향상됐다.
외신 404 미디어가 확보한 내부 문서에 따르면, 런웨이가 수천 개의 유튜브 영상과 불법 복제 영화를 무단 수집해 동영상 생성 모델 'Gen-3' 학습에 활용한 정황이 드러났습니다. 구글과 엔비디아의 투자를 받은 유명 유니콘 기업의 데이터 저작권 침해 논란이 다시 거세지고 있습니다.
콰이서우가 영상 생성 AI 플랫폼 '클링 AI 1.0'을 전 세계에 정식 출시했다. 이메일만으로 가입할 수 있으며 매일 66개의 무료 크레딧을 제공한다. 텍스트 및 이미지 기반 영상 생성과 카메라 제어를 지원하며, 여전히 제한 공개 중인 오픈AI 소라와 달리 누구나 바로 써볼 수 있다.
스테이빌리티 AI가 단일 객체 영상에서 8가지 새로운 시점의 영상을 생성하는 모델 '스테이블 비디오 4D'를 공개했다. 약 40초 만에 8개 앵글의 5프레임 영상을 생성해 동적 3D 최적화를 지원하며, 게임 개발과 영상 편집 활용을 목표로 허깅페이스에 공개됐다.
Luma Labs는 AI 비디오 생성 모델 드림 머신에 끊김 없이 반복 재생되는 영상을 만드는 Loops 기능을 출시했다. 영상의 시작과 끝을 자연스럽게 이어주어, 배경 애니메이션이나 모션 그래픽을 만드는 창작자의 편집 번거로움을 덜어준다.
크래프톤 출신들이 설립한 국내 VFX 스타트업 비블 AI가 475만 달러 규모의 시드 투자를 유치했다. 스마트폰으로 찍은 2D 영상을 3D로 복원해 후반 작업에서 조명·배경·카메라를 정밀 제어할 수 있는 기술을 기반으로, 고가의 헐리우드식 대형 LED 스튜디오를 대체해 독립 창작자를 지원한다.
올리버 캐머런이 새 프로젝트 '오디세이(Odyssey)'를 공개했다. 영화, TV 쇼, 게임 제작을 겨냥해 풍경과 캐릭터, 조명, 모션을 단순히 생성하는 것에 그치지 않고 정밀하게 직접 연출할 수 있는 헐리우드급 비주얼 AI를 구축하는 것이 목표다.
콰이쇼우 연구진이 인물 애니메이션 프레임워크 'LivePortrait'를 오픈소스로 공개했습니다. 디퓨전 대신 잠재 키포인트 방식을 채택해 인물이나 동물 사진을 구동 영상에 맞춰 움직이게 하며, RTX 4090 기준 프레임당 12.8ms의 빠른 속도를 지원합니다.
동영상 편집 앱 캡션스(Captions)가 신기능 'AI Edit'을 선보였다. 1인 세로형 토크 영상을 업로드하면 내용에 맞춰 화면 줌, 전환 효과, 그래픽, 음악, 효과음을 알아서 입혀준다. 플랫폼 내 12개 AI 아바타와 연동해 텍스트 입력만으로 편집된 영상을 바로 제작할 수도 있다.
토이저러스의 모회사 WHP 글로벌이 오픈AI의 동영상 생성 모델 ‘소라(Sora)’를 활용해 제작한 첫 브랜드 영상을 공개했다. 제작사 네이티브 포린에 따르면 분량의 약 80~85%를 소라가 생성했고 10여 명의 인력이 후반 시각효과(VFX) 보정을 거쳤다.
신세시아(Synthesia)가 비디오 플랫폼 '신세시아 2.0'을 공개했습니다. 스튜디오 방문 없이 웹캠이나 스마트폰으로 개인 아바타를 만들고 30개 이상의 언어로 음성을 복제할 수 있습니다. 연내에는 손동작과 전신 제스처를 구사하는 차세대 아바타도 추가될 예정입니다.
런웨이가 차세대 영상 생성 기반 모델 '젠-3 알파(Gen-3 Alpha)'를 발표했다. 이전 세대인 젠-2 대비 화질 충실도와 일관성, 움직임 표현을 대폭 개선했으며 세밀한 시간 제어와 영화적 연출 표현을 지원한다.
틱톡이 광고 크리에이티브 설루션 심포니에 디지털 아바타와 AI 더빙 기능을 추가했다. 30개 이상 언어를 지원하는 상업용 사전 제작 아바타와 맞춤형 아바타를 지원하며, 10개 이상 언어로 자동 번역 더빙된다. 크리에이터와 브랜드는 반복 촬영 없이 글로벌 광고를 손쉽게 제작할 수 있다.
구글 딥마인드가 비디오-투-오디오(V2A) 기술 연구 성과를 공개했다. 확산 모델을 기반으로 영상 픽셀과 텍스트 프롬프트를 분석해 수작업 정렬 없이 사운드트랙, 효과음, 대사를 영상과 자동 동기화한다. 현재 입 모양 동기화 등 개선 과제가 남아 있어 추가 안전성 검증을 거친 뒤 공개될 예정이다.
트라이베카 영화제는 오픈AI의 동영상 생성 AI 모델 '소라(Sora)'로 제작된 단편 영화 5편을 선보이는 '소라 쇼츠' 프로그램을 발표했다. 선댄스 수상 감독 니캬투 주수 등이 참여해 6월 15일 상영되며, 아직 일반에 공개되지 않은 소라로 제작된 영화가 주요 영화제에 진출하는 첫 사례다.