PyTorch 2.0 正式发布:引入 torch.compile,模型加速无需改代码
PyTorch 团队正式推出 PyTorch 2.0。新版本在保持原有动态图开发习惯的前提下重构底层编译器,核心加入可选的 torch.compile API,在 AMP 精度下平均提速 36%。此外还内置缩放点积注意力算子,开箱即可加速 Transformer 训练。
PyTorch 团队正式推出 PyTorch 2.0。新版本在保持原有动态图开发习惯的前提下重构底层编译器,核心加入可选的 torch.compile API,在 AMP 精度下平均提速 36%。此外还内置缩放点积注意力算子,开箱即可加速 Transformer 训练。