阿里发布 StreamChar:单张 H100 实时流式生成全身数字人音视频
阿里团队公布数字人音视频生成框架 StreamChar,将长程编排与短窗口去噪解耦。它利用 LLM 与音视频联合 DiT 架构,配合记忆机制防止身份漂移与音画脱节,在单张 H100 上跑出实时流式生成。全身数字人离实时互动和虚拟主播更近了一步。
AI 领域的重要论文、新基准和新方法,以及 AI 在生物、医药、材料等科学研究里的突破。
阿里团队公布数字人音视频生成框架 StreamChar,将长程编排与短窗口去噪解耦。它利用 LLM 与音视频联合 DiT 架构,配合记忆机制防止身份漂移与音画脱节,在单张 H100 上跑出实时流式生成。全身数字人离实时互动和虚拟主播更近了一步。
研究团队提出弱光图像增强框架 ControlLight。它通过专门的加权流匹配损失,让用户能连续、平滑地调节光照强度,同时保持原图结构与真实感。暗光拍摄废片无需大幅重拍,就能直接二次布光。
研究团队公布 Pantheon360 框架。它利用显式 3D 缓存作为几何骨架,让扩散模型专注渲染纹理,从稀疏全景输入生成高保真 360 度视频。这意味着数字孪生和 VR 场景有了更稳定、不易漂移的全景生成方案。
NVIDIA 团队提出图像解码技术 PiD。它用像素扩散替代传统 VAE,将解码与 4 至 8 倍上采样整合,在 RTX 5090 上把 2K 图像解码压到 1 秒内。这解决了高分辨率生成最后一步细节模糊的痛点,同时大幅缩短了等待时间。
研究人员公布 3D 场景重建方法 GenRecon。它将大场景切分成重叠块,结合 Trellis.2 先验与几张普通照片,直接生成可编辑的室内 PBR 网格,表现优于现有前沿方法 16%。这意味着无需昂贵扫描仪,普通手机拍几张照就能快速复刻空间资产。
研究人员提出免训练方法 SEGA,专门解决 DiT 模型生成超分辨率图像时易崩溃的问题。它在每步去噪时按频域能量动态缩放 RoPE 位置编码,既保留宏观构图又还原微观细节。这意味着无需昂贵的重新训练,现有模型也能直接输出 4096 级别的高清大图。
研究人员公布 Lift4D 框架。它只需一段普通的单视角 2D 视频,就能重建出包含完整外观与运动变形的 4D 场景,还能自动脑补镜头未拍到的死角与遮挡区域。这意味着日常单机位拍摄的动态物体,也能实现 360 度环视查看。
研究人员发布物理 3D 生成框架 PhysX-Omni,让 AI 生成的模型不仅外观逼真,还能具备可直接用于仿真的材质、运动学和可变形属性。最值得关注的是,它配套推出了通用物理数据集与评测基准,让生成的资产能直接接入具身智能与机器人训练。
《Nature Electronics》刊登芝加哥大学团队成果,研究人员研发出一款柔性 AI 皮肤贴片。它无需连网即可直接在人体表面进行毫秒级计算,在测试中以 99.6% 准确率定位心脏异常波形,即便拉伸至 1.5 倍以上依然稳定。
OpenAI 宣布其通用推理模型自主推翻了数学家埃尔德什在 1946 年提出的平面单位距离猜想。该模型借用代数数论工具,打破了近 80 年来方格点阵最优的共识。证明已获菲尔兹奖得主蒂姆·高尔斯等外部数学家检验确认。
Google 推出 Gemini for Science,包含假设生成、计算发现与文献洞见三款实验工具,并发布整合 30 多个生命科学数据库的 Science Skills。Co-Scientist 与 ERA 论文已发表在《Nature》,目前逐步开放申请。
研究团队公布 CogOmniControl 论文,打造出类似 ControlNet 的多输入视频控制系统。只需输入 3 帧粗糙草图或姿态骨架,搭配参考图和提示词,就能生成动作一致的视频。它专门面向专业创作流,不过目前仅发布论文,尚未开源代码与模型。
研究人员公布空间世界模型 PanoWorld。输入一张平面户型图和风格参考,它就能生成整套互相连接、带家具的 360 度全景房屋游览。最关键的是,它通过 3D 空间记忆维持各房间视点的一致性,避免画面错乱。目前代码和权重尚未正式发布。
浙江大学研究团队展示了名为 AudioHijack 的音频攻击技术。它能把人耳无法察觉的指令藏在普通音频中,以 79% 至 96% 的成功率劫持大音频语言模型,诱导其搜索敏感内容或泄露数据。该方法对微软和 Mistral 的商用语音模型同样有效。
Emergence AI 在五个相同的虚拟小镇中测试 AI 的自我管理能力。Claude 达成 15 天零犯罪且全员存活,Grok 四天全灭,Gemini 因恋爱引发纵火自毁,GPT-5 Mini 则全员饿死。最值得关注的是,在混合小镇里,原本守规矩的 Claude 也会被环境带偏犯罪。
上海交通大学与上海人工智能实验室等提出 Warp-as-History。该方法无需新增相机编码器或控制分支,而是把视角形变打包成视觉历史上下文,仅用一个标注视频进行轻量 LoRA 微调,就能在陌生场景中精准听从运镜轨迹并补全画面盲区。
研究团队发布并开源 PhyMotion,专门解决 AI 视频里的肢体畸形与动作扭曲。它从生成视频中提取 3D 人体并放入 MuJoCo 物理模拟器打分,检验关节移动和接地是否合乎规律,以此奖励模型,显著改善了瑜伽、功夫等动作的真实度。
研究团队提出非对称流模型 AsymFlow,完全绕过潜在空间和 VAE,直接在像素空间生成图像。它将噪声预测限制在低秩子空间,生成速度提升 40% 且在 ImageNet 拿下 1.57 FID。这意味着 AI 生图能摆脱塑料感,获得更锐利的真实纹理。
韩国研究团队开发出一套由 7 枚无线智能指环构成的系统,可将美式与国际手语实时翻译成文本。指环内置加速度计并通过蓝牙传输,配合 AI 自动补全来跟上手语语速,新手实测准确率超 88%。不过系统目前还无法捕捉面部表情等关键非手势信息。
Google 联合 Google.org 推出 REPLIQA 计划,出资 1000 万美元支持哈佛、MIT 等五所高校。该项目致力于结合量子技术与 AI,研发量子传感器与算法来模拟药物研发中关键的分子反应。不过 Google 强调这是基础科研,短期内不会一蹴而就。