칭화대·UC 버클리, 로봇 하네스 uni-robot-agent 오픈소스 공개: Qwen으로 Astra 제쳐
칭화대와 UC 버클리 연구진이 오픈소스 LLM이 로봇을 직접 제어할 수 있게 돕는 프레임워크 'uni-robot-agent'를 공개했습니다. 시뮬레이터 특권 정보 없이 로컬 Qwen3.8-Flash-Next를 탑재해 RoboDojo 벤치마크에서 31.39점을 획득, 20분의 1 비용으로 GPT-6 Astra 기준치를 넘어섰습니다.
清华大学
칭화대, 음성 추출 모델 Falcon 오픈소스 공개: 입모양 추적해 특정 목소리만 분리
칭화대 연구진이 화자 분리 모델 Falcon을 오픈소스로 공개했다. 카메라로 입 모양을 추적해 시끄러운 환경에서도 목표 인물의 음성만 실시간 추출하며, 학습 파라미터는 50만 개에 불과하다. 함께 제공되는 Falcon Studio를 통해 노트북에서 로컬 구동하고 Zoom이나 텐센트 회의에 바로 연결할 수 있다.
앤트그룹·칭화대, 실시간 멀티모달 에이전트 'Realtime-Venus' 공개
앤트그룹과 칭화대학교가 실시간 멀티모달 에이전트 시스템 Realtime-Venus를 선보였다. 듀얼 루프 구조와 2개의 9B 모델을 활용해 전이중 음성 대화를 나누면서 복잡한 작업을 백그라운드에서 비동기로 처리한다. 작업 완료를 기다리느라 대화가 끊기지 않아 스마트 글래스와 차량용 비서에 유용하다.
모델베스트, MiniCPM-V 4.6 오픈소스 공개: 1.3B 모델이 6GB 메모리로 구동
모델베스트가 온디바이스 멀티모달 모델 MiniCPM-V 4.6을 오픈소스로 공개했다. 1.3B 파라미터 크기로 약 6GB 메모리만 있으면 단말에서 부드럽게 구동된다. Qwen3.5-0.8B 등 동급 모델보다 뛰어난 성능을 내면서도 토큰 소모량을 19분의 1로 줄여 온디바이스 AI 도입 문턱을 크게 낮췄다.
칭화대, 'OpenMAIC' 오픈소스 공개…주제만 넣으면 AI 교사와 동급생이 수업 진행
칭화대 연구진이 주제나 문서만 입력하면 대화형 수업을 자동 생성하는 'OpenMAIC'을 오픈소스로 공개했다. AI 교사와 AI 급우가 음성으로 강의하고 화이트보드에 수식을 그리며 실시간 토론과 퀴즈까지 이끈다. 일방향 동영상 강의를 넘어 AI와 직접 상호작용하며 학습할 수 있는 환경을 누구나 로컬에 구축할 수 있다.
바이트댄스·칭화대 DreamID-Omni 공개: 사진과 음성으로 다자간 대화 영상 생성
바이트댄스와 칭화대 연구팀이 DreamID-Omni를 발표했다. 인물 사진, 텍스트, 음성 샘플을 결합해 자연스러운 발화 영상을 제작하며, 다자간 동시 대화의 립싱크 꼬임 문제를 해결하고 영상 편집도 지원한다. 3월 중 v1 오픈소스 버전이 공개될 예정이다.
칭화대 Xmax AI, 손으로 만지는 실시간 인터랙티브 비디오 모델 'X1' 공개
칭화대 Xmax AI 팀이 가상 캐릭터와 실시간으로 상호작용하는 비디오 모델 'X1'을 공개했습니다. 스마트폰 카메라로 손동작을 인식해 초저지연으로 가상 요소를 만지며 조작할 수 있고 무제한 영상 생성을 지원합니다. 현재 비공개 베타를 진행 중입니다.
상하이교통대·칭화대, 엔비디아보다 100배 빠른 광학 AI 칩 ‘LightGen’ 공개
상하이교통대와 칭화대 연구진이 전광(all-optical) 생성형 AI 칩 'LightGen'을 공개했다. 이 칩은 이미지 생성 등의 작업에서 엔비디아 A100 GPU보다 100배 이상 빠른 속도와 에너지 효율을 기록했다. 메타표면을 활용해 광학 잠재 공간을 구현했으나, 현재는 대형 레이저 장비에 의존하는 연구실 단계다.
칭화대와 성수과기, 영상 생성 AI 'Vidu' 공개: 1080p 16초 영상 한 번에 생성
중국 성수과기와 칭화대가 텍스트 기반 영상 생성 모델 'Vidu'를 발표했다. 자체 개발한 U-ViT 아키텍처를 바탕으로 원클릭으로 1080p 해상도의 16초 영상을 생성하며 멀티 카메라 시점 전환을 지원한다. OpenAI의 소라(Sora) 대비 사실감은 아직 부족하지만 영상의 시간적 일관성 측면에서 높은 평가를 받았다.