跳到正文
IFAI

AI算力

行业标签545 条新闻

  1. 开源项目传播指数 48

    Monarch RT 开源:单张 RTX 5090 跑出 16 FPS 实时视频生成

    加速架构 Monarch RT 正式亮相,能在单张消费级 RTX 5090 显卡上以每秒 16 帧实时生成视频。其注意力机制比 FlashAttention 快近 4 倍,且画质保留了密集注意力的约 95%。这意味着开发者无需依赖云端算力集群,完整代码已在 GitHub 开源。

  2. 大模型传播指数 43

    Character.ai 解密预训练技术:6-bit 梯度压缩让通信开销骤降

    Character.ai 首次公开早期由 Noam Shazeer 带领研发的 Transformer 预训练优化技巧。其中最引人关注的是 6-bit 梯度压缩算法 Squinch,在集群网络带宽仅为顶尖系统四分之一的限制下,保持了与 bfloat16 相当的训练精度。团队同时还公开了注意力正则化与蒸馏优化等工程细节。