알리바바, 'Qwen3.8-Omni-Flash' 공개: 100만 토큰 지원 멀티모달 모델
이번 주 알리바바가 음성과 영상 입력을 지원하는 멀티모달 모델 'Qwen 3.8 Omni Flash'를 발표했다. 100만 토큰 컨텍스트를 제공해 실시간 스트리밍 처리와 영상 편집 도구 호출이 가능하다. 이전 대비 토큰 소모를 크게 줄였으며 현재 API 전용으로 오픈소스는 아니다.
이번 주 알리바바가 음성과 영상 입력을 지원하는 멀티모달 모델 'Qwen 3.8 Omni Flash'를 발표했다. 100만 토큰 컨텍스트를 제공해 실시간 스트리밍 처리와 영상 편집 도구 호출이 가능하다. 이전 대비 토큰 소모를 크게 줄였으며 현재 API 전용으로 오픈소스는 아니다.
런웨이가 영상 프레임 레이트를 변환해 주는 신규 모델 'Enhance Frame Rate'를 출시했다. 외부 영상 포함 최대 4K 해상도, 5분 길이의 클립을 최대 120fps로 변환하며, 경쟁 모델 대비 7배 빠르고 비용은 3배 저렴하다. 해상도에 상관없이 2초당 1크레딧으로 이용할 수 있다.
메타가 신규 구독 서비스 '메타 원'을 월 2.99달러부터 전 세계에 출시했다. 기본 무료 정책은 유지하되, 번들 구독 시 뮤즈 기반 AI 영상·이미지 생성 한도를 늘려주고 비즈니스용 AI 상담 에이전트를 제공한다.
비글 AI가 기존 영상의 카메라 각도와 재생 속도를 자유롭게 재구성하는 영상 모델 '메리디안(Meridian)'을 공개했다. 미니맥스 H3 기반으로 3D 기하 정보를 재구성해 카메라 회전이나 '불릿 타임' 같은 정지 샷을 새로 생성할 수 있다. LoRA 어댑터 형태로 배포되며 ComfyUI 워크플로도 지원한다.
프라임 비디오가 인간 성우의 음성에 맞춰 배우의 입모양을 정밀하게 일치시키는 AI 립싱크 더빙 기술을 공개했다. 글로벌 히트작 '맥스턴 홀' 시즌 1·2의 영어 더빙에 우선 적용되었으며, 12월 9일 공개되는 시즌 3에도 지원된다. 향후 적용 작품을 확대할 계획이다.
배급사 네온이 루카 구아다니노 연출, 앤드루 가필드 주연의 샘 올트먼 전기 영화 'Artificial' 첫 티저 예고편을 공개했다. ChatGPT 탄생 이면을 조명한 이 영화는 심리 공포물에 가까운 긴장감을 풍기며, 아마존의 투자 철회 끝에 네온을 통해 올해 크리스마스 북미 일부 극장에서 개봉한다.
블랙매직 디자인이 다빈치 리졸브 21.1을 출시하고 AI 어시스턴트 기능과 확장된 사진 지원을 도입했다. 이번 업데이트는 영상 편집자와 컬러리스트를 위한 100개 이상의 신규 도구를 추가해 전문 후반 작업 워크플로를 크게 강화했다.
프린스턴대와 UC버클리 등 연구진이 UniMate를 오픈소스로 공개했다. 리깅된 3D 에셋과 텍스트 프롬프트를 입력하면 뼈대별 재학습 없이도 관절 모션을 직접 생성한다. 인간형뿐 아니라 조류, 뱀, 기계 오브젝트까지 제로샷으로 구동하며, 코드와 가중치가 모두 무료로 제공된다.
런웨이가 720p 해상도 및 24fps로 영상과 음향을 연속 실시간 생성하는 세계 모델 'GWM 월즈 2'를 공개했다. 이용자는 월드프롬프트를 통해 물리 법칙과 캐릭터를 설정한 뒤, 키 입력이나 텍스트로 카메라와 행동을 실시간 조작할 수 있다. 세션 시간제한 없이 게임과 로봇 훈련에 활용 가능하지만, 급격한 시점 회전 시 그래픽 저하가 발생하는 한계가 있다.
연구팀이 실시간 인터랙티브 세계 모델 프레임워크인 'SolarWM'을 오픈소스로 공개했다. 5초 분량의 클립 학습만으로 붕괴 없이 1시간 이상 일관된 실시간 상호작용 생성이 가능하다. 143만 개 클립에 달하는 25TB 규모의 데이터 파이프라인과 훈련 레시피를 전면 공개했으며, Wan과 Minimax H3 등 다양한 기반 모델을 지원한다.
오픈소스 비디오 생성 모델 Miniax H3를 대화형 게임 엔진으로 변환하는 프로젝트 H3 World가 공개되었다. 새 제어 장치 대신 키보드 입력을 짧은 텍스트로 바꿔 모델에 전달해 조작에 반응하는 영상을 만든다. 로컬 실행 코드와 훈련 스크립트가 모두 공개되었다.
구글이 제미나이 3.7 플래시 등 주요 모델에 에이전틱 비디오 이해 기능을 출시했다. 고정 프레임으로 전체 영상을 읽던 방식에서 벗어나, AI가 필요한 영상 프레임과 오디오, 자막을 능동적으로 탐색해 처리한다. 이를 통해 토큰 소모를 최대 88%, 비용을 66% 줄이면서 정확도는 오히려 7% 끌어올렸다.
월드 랩스가 차세대 옴니 세계 모델 'Atlas'를 공개했다. 텍스트와 영상, 3D 데이터를 단일 공간 맥락으로 융합해 정밀한 카메라 제어로 최대 1분 분량의 1440p 영상을 생성하며, 몇 장의 사진만으로 3D 가우시안 스플래팅 장면을 재구성한다.
런웨이가 인터페이스 월드 모델 '솔라리스'를 공개했다. Gen-4.5 비디오 모델을 기반으로 전통적인 코드 변환 없이 사용자 조작에 맞춰 720p 인터페이스를 실시간 렌더링한다. 화면 손실 없는 앱 경험뿐 아니라 시시각각 변하는 UI에서 AI 에이전트를 훈련하는 새로운 환경을 제공한다.
비글(Viggle)이 영상 속 캐릭터를 바꿔주는 모델 Viggle-Animate를 오픈소스로 공개했다. 복잡한 포즈 추정, 마스크 생성, 얼굴 추적 없이 원본 영상과 한 장의 수정된 프레임만으로 동작을 완벽히 이식한다. B200 GPU 1대로 124프레임을 26초 만에 렌더링한다.
fal이 실시간 생성형 AI 라이브 스트리밍 플랫폼 'fal.live'를 공개했다. 사용자는 채널을 골라 텍스트 프롬프트를 입력함으로써 다음 스트림 화면을 실시간으로 직접 연출할 수 있다. 관객이 수동적 시청자에서 능동적 감독으로 바뀌는 셈이다.
Hao AI Lab과 MiniMax가 오픈 가중치 영상 생성 모델 'FastH3 v1'을 공개했다. 엔비디아 블랙웰 GPU에서 최대 14배 빨라져 15초짜리 768p 영상을 단 13초 만에 뽑아낸다. 단일 체크포인트로 다양한 해상도와 길이를 지원하며, 가중치와 추론 코드가 공개됐다.
구글이 영상 생성 모델 '제미나이 옴니 1.1 플래시'를 공개했다. 이전 10초 분량의 맥락을 분석해 최대 40초까지 장면을 연장할 수 있으며, 시작·끝 프레임 보간과 4K 업스케일, 비용을 3분의 1로 줄인 360p 초안 모드를 지원한다. 구글 AI 스튜디오 및 제미나이 앱에서 바로 쓸 수 있다.
연구진이 'Code World Model' 프레임워크를 발표하고 코드를 오픈소스로 공개했다. 세계의 인과 규칙과 영상 렌더링을 분리해 코딩 에이전트가 코드를 작성하며 지속적인 상태를 유지하고, 미세조정된 MiniMax-H3 모델이 이를 영상으로 시각화한다. AI가 물체와 사건을 잊지 않고 장시간 일관된 인터랙티브 세계를 유지할 수 있다.
연구진이 3D 렌더링 결함을 전문적으로 다듬는 'FixAnything'을 오픈소스로 공개했다. 3DGS나 NeRF 기반 장면에서 카메라 시점 이동 시 생기는 구멍과 노이즈를 비디오 확산 모델을 활용해 매끄럽고 일관된 영상으로 복원한다.