바이트댄스, 단일 H100서 실시간 긴 영상 만드는 '헬리오스' 오픈소스 공개
바이트댄스가 14B 규모의 실시간 영상 생성 모델 '헬리오스'를 오픈소스로 공개했다. 단일 엔비디아 H100 GPU에서 초당 19.5프레임 속도로 최대 1분 길이 영상을 화풍 붕괴 없이 생성한다. 코드와 실행 파이프라인이 깃허브에 공개됐다.
바이트댄스가 14B 규모의 실시간 영상 생성 모델 '헬리오스'를 오픈소스로 공개했다. 단일 엔비디아 H100 GPU에서 초당 19.5프레임 속도로 최대 1분 길이 영상을 화풍 붕괴 없이 생성한다. 코드와 실행 파이프라인이 깃허브에 공개됐다.
구글이 노트북LM에 '시네마틱 비디오 오버뷰'를 추가해 기존 슬라이드 해설을 유려한 애니메이션 영상으로 업그레이드했다. 제미나이 3, 나노 바나나 프로, 베오 3를 연동해 제미나이가 연출 디렉터로서 영상 구성과 시각적 일관성을 직접 다듬는다. 현재 웹과 모바일의 구글 AI 울트라 구독자(18세 이상)를 대상으로 영어로 제공된다.
AI 영상 제작 플랫폼 LTX Studio가 기업의 콘텐츠 현지화를 위한 더빙 및 자막 기능을 출시했다. 여러 언어권의 시청자를 겨냥해 영상 제작을 확장할 수 있도록 돕는 기능이지만, 지원 언어와 세부 요금제는 아직 공개되지 않았다.
연구진이 벡터 애니메이션 생성 프레임워크 OmniLottie를 발표했다. 전용 Lottie 토크나이저와 비전-언어 모델을 활용해 텍스트와 이미지 입력에서 가벼운 Lottie JSON 애니메이션을 바로 생성할 수 있다. 200만 건 규모의 주석 데이터셋 MMLottie-2M도 함께 공개됐다.
Showlab이 텍스트 명령어와 참조 이미지로 비디오를 편집할 수 있는 오픈소스 프레임워크 'Kiwi-Edit'의 코드와 모델, 데이터셋을 공개했다. 멀티모달 LLM과 5B 확산 트랜스포머를 결합해 720p 해상도에서 객체 추가·제거 및 배경 교체를 시간적 일관성을 유지하며 수행한다.
바이트댄스와 스탠퍼드대 연구진이 확산 모델 추론을 최대 4.7배 가속하는 오픈소스 프레임워크 Spectrum을 공개했다. 체비쇼프 다항식으로 미래 확산 궤적을 예측해 추가 학습 없이 기존 파이프라인에 적용할 수 있으며, FLUX.1과 훈위안 비디오 등에서 화질 손하 거의 없이 생성 속도를 크게 줄여준다.
메이퇀 연구팀이 영상 생성 시 인물 일관성을 유지하는 프로젝트 WildActor를 공개했다. 3장의 기준 이미지만으로 큰 동작에서도 얼굴과 의상을 유지하며 실사와 카툰 캐릭터를 모두 지원한다. Wan2.2-5B 기반 추론 코드와 데이터 파이프라인을 제공한다.
바이트댄스와 칭화대 연구팀이 DreamID-Omni를 발표했다. 인물 사진, 텍스트, 음성 샘플을 결합해 자연스러운 발화 영상을 제작하며, 다자간 동시 대화의 립싱크 꼬임 문제를 해결하고 영상 편집도 지원한다. 3월 중 v1 오픈소스 버전이 공개될 예정이다.
구글이 AI 창작 플랫폼 '플로우(Flow)'를 대대적으로 개편했다. 이미지FX와 위스크의 이미지 생성 도구를 플랫폼 내부로 완전히 통합해, 생성된 이미지를 바로 비디오 모델 베오(Veo)로 연결할 수 있다. 올가미 도구를 활용한 자연어 부분 편집과 카메라 제어 기능도 추가됐다.
Alex Finn이 Cursor가 발표한 'AI 에이전트 데모 영상 자동 녹화' 기능을 OpenClaw 에이전트에 입력하자, 5분 만에 기능 구현과 영상 녹화까지 완료되었습니다. 현재 이 기능은 워크플로에 적용되어 모든 PR마다 데모 영상이 자동으로 첨부됩니다.
소니 연구팀이 비디오 음향 생성 프레임워크 MMHNet을 발표했다. 계층형 네트워크와 맘바(Mamba) 아키텍처를 결합해 5분이 넘는 장편 영상에서도 정밀하게 싱크가 맞는 오디오를 생성한다. 짧은 영상으로 학습해 긴 영상을 처리할 수 있어 타격감과 장면 전환 음향의 일치도를 크게 높였다.
구글이 제미나이 앱에 동영상 템플릿 갤러리를 도입했다. 사용자는 도구 메뉴에서 'Create video'를 선택해 사이버펑크나 액션 히어로 등의 스타일을 고르고, 사진을 업로드해 9:16 세로형 영상을 손쉽게 만들 수 있다.
연구진이 대규모 동영상 추론 프레임워크 VBVR과 검증용 벤치마크 VBVR-Bench를 오픈소스로 공개했다. 200개 과제에 걸친 100만 개 이상의 영상 클립과 310GB 데이터를 제공해 모델의 시공간 및 물리적 인과 추론을 돕는다. 단순 화질 개선을 넘어 대규모 확장에 따른 미학습 과제 일반화 가능성을 확인했다는 점이 핵심이다.
VR 환경에서 실시간으로 상호작용하는 전신 디지털 휴먼 시스템 SARAH가 공개됐다. 이용자의 3D 위치를 인식해 몸을 돌리거나 시선을 맞추며 300FPS 이상의 속도로 구동된다. 시선 접촉 강도도 직접 조절할 수 있어 VR 속 대화가 한층 사람다워진다.
VR 헤드셋으로 추적한 머리와 손동작에 맞춰 1인칭 상호작용 비디오를 실시간 생성하는 연구가 발표됐다. 프롬프트와 신체 움직임을 결합해 생성된 가상 환경과 직접 상호작용하며 약 11FPS로 구동된다. 생성형 XR의 상호작용성을 크게 높였으나 화질과 프레임은 초기 단계다.
리플릿(Replit)이 제미나이 3.1 프로 기반의 영상 제작 도구 '리플릿 애니메이션'을 공개했다. 단 몇 분 만에 바이럴 영상을 '바이브코딩'할 수 있다는 설명이며, 공개된 안내 영상 역시 전적으로 해당 도구로 제작됐다. 코드 생성을 넘어 멀티미디어 창작으로 영역을 확장하는 행보다.
연구진이 인코더 전용 동영상 분할 모델 VidEoMT를 발표했습니다. 복잡한 전용 추적 모듈 대신 일반 ViT에 프레임 간 쿼리 전파 방식을 결합해 기존 대비 5~10배 빠른 최대 160 FPS 속도를 내며, 코드도 공개되었습니다.
미국 영화관 체인 AMC는 본편 전 상영 예정이던 AI 애니메이션 단편 'Thanksgiving Day'의 상영을 전격 취소했다고 밝혔다. 영화제 수상 혜택으로 전미 극장 상영이 계획됐으나 관객들의 거센 반발이 이어지자 선을 그은 것으로, 전통 극장가에서 AI 콘텐츠 도입이 직면한 높은 저항을 보여준다.
오픈AI가 인스타그램에서 15년 넘게 유명 인사 제휴를 이끈 찰스 포치를 첫 글로벌 크리에이티브 파트너십 VP로 영입했다. 비욘세와 교황을 플랫폼으로 끌어들였던 그의 노하우로 할리우드의 반발을 완화하고 소라의 인물 초상권 라이선스 계약을 추진할 방침이다.
타부스(Tavus)가 실시간 인간 렌더링 모델 '피닉스-4(Phoenix-4)'를 공개했다. 기존의 반복 재생 영상 기반 아바타와 달리, 밀리초 단위 지연 시간으로 대화 맥락에 맞는 감정 표정과 경청 반응, 두경부 움직임을 실시간 생성한다.