字节跳动发布 SeedFold:扩大网络宽度与数据蒸馏,多项测试超 AlphaFold 3
字节跳动 Seed 团队发布生物分子结构预测模型 SeedFold。团队将网络宽度扩至 4 倍,引入复杂度仅 O(n²) 的线性三角注意力,并从 AlphaFold 2 蒸馏扩充了 147 倍训练数据。在 FoldBench 测试中,它在抗体-抗原等多数蛋白质任务上的表现超过了 AlphaFold 3。

SeedFold 是字节跳动 Seed 团队打造的生物分子结构预测模型,目的是把蛋白质以及各类复合体的三维结构预测得更准、算得更快。
除了完整版的 SeedFold,团队还做了一个计算效率更高的变体 SeedFold-Linear。在主流基准 FoldBench 的测试里,这两个模型在多数蛋白质相关的结构预测任务上都跑赢了 AlphaFold 3。
它是怎么做到的
传统的结构预测模型往往卡在表达瓶颈上。字节跳动团队选择从三个维度来做扩展。
首先是扩大网络宽度。团队把核心模块 Pairformer 的通道宽度直接从 128 拉大到 512,也就是放大了整整 4 倍。他们发现残基对特征的表达维度才是最核心的性能瓶颈,宽网络能直接提升模型理解复杂相互作用的能力,尽管这带来了显存爆炸和训练不稳定的工程挑战。
其次是改写注意力机制。为了解决原有三角注意力机制计算复杂度高达 O(n³) 的问题,团队提出了两种线性三角注意力变体,把复杂度成功压到了 O(n²)。一种是结合常规线性注意力的设计,另一种加入了门控机制来控制信息流,在 DNA 和 RNA 相关的任务上表现更好。
最后是大力搞数据蒸馏。实验测定的蛋白质结构数据非常有限,团队选择通过 AlphaFold 2 蒸馏构建了一个包含 2650 万样本的大规模数据集,把训练数据量直接扩大了 147 倍。
预测效果怎么样
在 FoldBench 基准测试的多项任务中,SeedFold 展现出了很强的竞争力。
在抗体-抗原相互作用(Ab-Ag)测试中,SeedFold 的成功率达到 53.21%,明显超过了 AlphaFold 3 的 47.90%,也把 Boltz-1(33.54%)和 Chai-1(23.64%)甩在身后。
在单体结构预测(lDDT 指标 0.8889 对 0.88)和蛋白质-蛋白质相互作用(成功率 74.03% 对 72.93%)上,SeedFold 也都略微压过了 AlphaFold 3。
在蛋白质-小分子配体任务中,轻量版的 SeedFold-Linear 甚至表现更佳,成功率达到 66.48%,高于完整版的 63.12% 和 AlphaFold 3 的 64.90%。不过在蛋白质-DNA 的相互作用预测上,AlphaFold 3 依然以 79.18% 的成功率保持领先。
与此同时,团队还配套推出了基于全原子从头蛋白质设计扩散模型 SeedProteo,同样沿用了类似架构,在 10 个靶点的结合蛋白设计基准上表现优异。
目前该研究已经公布了 arXiv 论文和项目主页,论文编号为 2512.24354。
为什么重要
对于结构生物学和药物研发领域的研究人员来说,SeedFold 证明了在大语言模型上行之有效的扩展法则,在生物分子建模里同样有效。通过网络宽度扩展和 O(n²) 级别的注意力优化,它给高通量复合体预测提供了一条计算代价更低、精度却更高的路径。
我们认为,字节跳动 Seed 团队的做法非常务实。他们没有盲目从零堆叠昂贵的数据,而是聪明地利用成熟的 AlphaFold 2 做大规模数据蒸馏,再靠工程架构的拓宽来拉升表现。不过目前该项目主要以论文和主页形式公开,生物医药团队是否能像使用开源工具一样无缝接入到现有的药物筛选管线中,还要看后续完整代码和权重的开源落实程度。
来源 (1)
- seedfold.github.io(在新标签页打开)原文seedfold.github.io