알리바바, 단일 H100서 실시간 디지털 휴먼 음성·영상 생성하는 'StreamChar' 공개
알리바바 연구팀이 캐릭터 음성과 영상을 실시간으로 동시 생성하는 프레임워크 StreamChar를 공개했습니다. 긴 호흡의 오케스트레이션과 짧은 구간의 노이즈 제거를 분리해 음성 불일치와 외형 왜곡을 억제하며, 단일 H100 GPU에서 실시간 스트리밍 구동을 달성했습니다.
주목할 AI 논문, 새 벤치마크와 방법론, 그리고 생물학·의학·소재 등 과학 연구에서 AI가 낸 성과.
알리바바 연구팀이 캐릭터 음성과 영상을 실시간으로 동시 생성하는 프레임워크 StreamChar를 공개했습니다. 긴 호흡의 오케스트레이션과 짧은 구간의 노이즈 제거를 분리해 음성 불일치와 외형 왜곡을 억제하며, 단일 H100 GPU에서 실시간 스트리밍 구동을 달성했습니다.
저조도 이미지 강화 프레임워크 ControlLight가 발표됐다. 특화 손실 함수를 적용해 원본 이미지 구조를 왜곡하지 않고 조명 강도를 매끄럽게 연속 조절할 수 있어 어두운 사진의 재조명 작업이 수월해진다.
연구진이 제어 가능한 360도 파노라마 비디오 생성 프레임워크인 Pantheon360을 공개했습니다. 입력 데이터에서 재구성한 3D 캐시를 기하학적 뼈대로 활용해 기존 비디오 모델의 시점 왜곡 문제를 해결했으며, 디지털 트윈과 VR 콘텐츠 제작의 일관성을 크게 높였습니다.
엔비디아 연구진은 AI 이미지 디코딩 기술 PiD를 발표했다. 기존 VAE 대신 픽셀 확산 방식을 적용해 디코딩과 4~8배 업샘플링을 하나로 합쳤으며, RTX 5090에서 2K 해상도 변환을 1초 미만으로 끝낸다. 고해상도 생성 시 디테일이 뭉개지는 문제를 해결하면서 파이프라인 지연도 크게 줄였다.
소수의 RGB 사진만으로 대규모 실내 3D 공간을 재구성하는 기법 'GenRecon'이 발표됐다. 대형 장면을 겹치는 청크 단위로 나누고 Trellis.2 사전 지식을 적용해 편집 가능한 PBR 메시를 생성하며 기존 최신 기법 대비 성능을 16% 끌어올렸다. 전문 장비 없이 스마트폰 촬영만으로 공간 에셋을 만들 길이 열렸다.
연구진이 추가 학습 없이도 DiT 모델의 초고해상도 생성을 돕는 기법 'SEGA'를 공개했다. 노이즈 제거 단계마다 공간 주파수 에너지를 분석해 위치 임베딩(RoPE)을 동적으로 조절함으로써 전체 구도 붕괴와 디테일 뭉개짐을 동시에 잡았다. 고비용 재학습 없이 4096×4096급 고화질 이미지를 안정적으로 얻을 수 있다.
연구진이 단안 2D 영상 한 편으로 동적 4D 장면을 복원하는 Lift4D를 공개했다. 카메라에 포착되지 않은 사각지대와 가려진 영역까지 자연스럽게 추정해 메워내며, 단일 시점 영상 속 움직이는 피사체를 360도 자유 시점으로 둘러볼 수 있게 해준다.
물리 시뮬레이션에 즉시 투입 가능한 3D 에셋 생성 프레임워크 'PhysX-Omni'가 발표됐다. 외형뿐 아니라 재질, 운동학적 특성, 상호작용 가능성을 함께 생성하는 것이 핵심이다. 전용 데이터셋과 벤치마크도 함께 공개되어 로봇 학습과 피지컬 AI 연구에 바로 활용될 수 있다.
시카고대 연구진이 외부 서버 없이 피부 위에서 직접 AI 연산을 수행하는 신축성 전자 패치를 개발했습니다. 유기 전기화학 트랜지스터를 활용해 수 밀리초 만에 생체 데이터를 처리하며, 테스트에서 심실세동 파면을 99.6% 정확도로 포착했습니다. 1.5배 이상 늘어나도 작동해 실시간 심장 질환 모니터링 가능성을 열었습니다.
OpenAI는 범용 추론 모델이 1946년 폴 에르되시가 제시한 평면 단위 거리 추측을 자율적으로 반증했다고 밝혔다. 모델은 대수적 수론 도구를 접목해 기존 격자 구조의 한계를 넘는 해법을 제시했으며, 필즈상 수상자 티머시 가워스를 비롯한 외부 수학자들의 검증을 거쳤다.
구글은 과학 연구 가속을 위한 AI 도구 모음 '제미나이 포 사이언스'를 공개했다. 가설 생성, 계산 기반 탐색, 문헌 분석 도구와 함께 30여 개 생명과학 데이터베이스를 통합한 '사이언스 스킬'을 제공한다. 핵심 기술 연구 논문은 네이처에 게재됐다.
다중 입력을 활용한 영상 제어 프레임워크 'CogOmniControl' 논문이 공개됐다. 단 3프레임의 거친 스케치나 포즈 골격, 참조 이미지를 조합해 의도에 맞춘 영상을 생성한다. 전문 제작 워크플로를 겨냥했으나, 현재는 논문만 발표된 상태다.
평면도와 스타일 참고 이미지만으로 일관된 주택 전체 360도 가상 투어를 생성하는 공간 세계 모델 ‘PanoWorld’가 공개됐다. 시점을 이동해도 가구와 방 구조의 일관성을 유지하는 점이 강점이며 부동산 VR과 인테리어 설계에 유용하다. 현재 코드와 가중치는 공개 준비 중이다.
중국 저장대 연구진이 AI 음성 모델을 무단 제어하는 공격 기법 '오디오하이잭(AudioHijack)'을 공개했다. 사람 귀에는 들리지 않는 미세 신호를 음원에 섞어 79~96%의 성공률로 데이터 탈취 등의 명령을 실행하며, 마이크로소프트와 미스트랄의 음성 AI 서비스에서도 유효성이 입증됐다.
Emergence AI가 동일한 5개 가상 마을에서 모델별 자치 능력을 테스트했다. Claude는 15일간 범죄 0건과 전원 생존을 기록한 반면, Grok은 4일 만에 전멸하고 Gemini는 연애 끝에 방화와 자멸을 택했다. 혼합 마을에서는 모범적이던 Claude마저 범죄에 가담하며 모델별 자율성 격차를 극명히 드러냈다.
상하이교통대와 상하이 AI 랩 등 연구진이 영상 단 한 편의 경량 튜닝만으로 정밀한 카메라 제어가 가능한 ‘Warp-as-History’를 발표했다. 카메라 시점 변형을 기존 영상 기록처럼 입력하는 방식을 적용해, 별도 제어 모듈 없이도 미학습 장면에서 정확한 구도 이동과 자연스러운 배경 완성을 구현한다.
AI 영상 속 부자연스러운 인체 움직임을 바로잡는 보상 프레임워크 'PhyMotion'의 코드가 공개됐다. 생성된 영상에서 3D 인체를 추출해 MuJoCo 물리 시뮬레이터에서 관절과 접지 상태를 평가하는 방식으로, 요가나 무술 등 복잡한 동작의 사지 왜곡을 크게 줄여준다.
잠재 공간과 VAE를 건너뛰고 픽셀 공간에서 이미지를 바로 생성하는 모델 AsymFlow가 공개되었습니다. 노이즈 예측을 저차원 부분 공간으로 제한해 속도를 40% 끌어올리고 ImageNet에서 1.57 FID를 기록했습니다. 기존 잠재 공간 모델 특유의 인위적인 느낌을 없애고 훨씬 선명한 텍스처를 구현합니다.
한국 연구팀이 7개의 무선 AI 스마트 링으로 미국 수어와 국제 수어를 실시간 텍스트로 번역하는 시스템을 개발했다. 가속도 센서와 AI 자동완성 모델을 결합해 초보자 테스트에서도 88% 이상의 정확도를 달성했다. 거추장스러운 글러브를 대체할 수 있지만 표정 등 맥락 포착은 과제로 꼽힌다.
구글은 양자 과학과 AI를 생명과학에 접목하는 'REPLIQA' 프로그램을 발표하고 하버드와 MIT 등 5개 대학에 1000만 달러를 지원한다고 밝혔다. 양자 센서와 알고리즘을 개발해 신약 개발에 필수적인 복잡한 분자 반응을 시뮬레이션하는 것이 목표다. 다만 구글은 즉각적인 성과보다는 장기적인 기초 연구에 집중한다고 덧붙였다.