Sakana AI 推出自动化 CUDA 优化智能体：PyTorch 代码自动转写加速

写 Python 或 PyTorch 已经成了做 AI 的标配，但要真正榨干 GPU 的每一滴算力，工程师们还是不得不去啃最底层的 CUDA。

这活儿门槛极高，不仅要精通硬件架构，还要反复微调内存访问和线程调度。现在，Sakana AI 决定把这个重担丢给大模型，发布了一套能够自动化发现、验证并优化 CUDA 内核的智能体框架。

让大模型啃下最硬的底层代码

最近不少团队都在尝试利用测试期计算扩展让大模型写代码，但大部分成果都集中在高层应用，极少有人敢深入底层的 CUDA 内核优化。

此外，现有的内核评估基准也存在漏洞，场景多样性不足，很多模型生成的代码看似得分高，实际泛化能力很差。

为了解决这些痛点，Sakana AI 首先推出了名为 robust-kbench 的全新基准测试，用来在多样化场景下严格评估内核的性能与正确性。

在此基础上，他们搭建了一套自动化的智能体流水线。前沿大模型会先接收 PyTorch 代码，将其直接翻译成功能等价的 CUDA 内核代码。

演化生成加验证器，速度超过原生实现

翻译只是第一步，真正的核心在于性能调优。

这套系统引入了一种专为 CUDA 生态定制的演化元生成流程，通过多轮迭代不断优化内核的运行时性能。

为了防止生成出一堆看似跑得快但结果全错的代码，流程中嵌入了基于大模型的验证器。验证器负责提前筛查和过滤错误内核，大大减轻了直接在硬件上测试的验证压力。

在 robust-kbench 上的测试显示，这套系统生成的 CUDA 内核在实际应用中跑赢了 PyTorch 官方实现，并且这一优势同时涵盖了前向传播与反向传播。

不仅如此，该框架还学会了算子融合等高级运行时优化策略，能将多个计算步骤合并以减少访存开销。

为什么重要

对从事高性能计算和模型优化的开发者来说，手写底层 CUDA 算子通常是最耗时、最繁琐的环节。如果后续能将 PyTorch 原型代码稳定自动转换为高效率的底层实现，开发与部署周期将被大幅缩短。

在行业层面，顶尖的系统级性能优化工程师极度稀缺，这也一直是阻碍新架构快速落地的大痛点。Sakana AI 证明了大模型不仅能写 CRUD，还能在硬核的系统级编程中通过演化搜索完成超乎寻常的微观优化。

我们认为这套方案最聪明的地方在于闭环设计。它没有依赖大模型单次生成的运气，而是用演化搜索配合专属验证器，在进入物理硬件前就把不合规的代码过滤掉，极大降低了试错成本。不过看起来目前的测试主要集中在自身构建的基准中，未来面对跨硬件架构和极度复杂的冷门算子时，这套自动化流水线能否持续稳定输出，依然需要实践检验。