跳到正文
IFAI

AI科研

字節跳動釋出 SeedFold:擴大網路寬度與資料蒸餾,多項測試超 AlphaFold 3

首次發布 傳播指數 36

字節跳動 Seed 團隊釋出生物分子結構預測模型 SeedFold。團隊將網路寬度擴至 4 倍,引入複雜度僅 O(n²) 的線性三角注意力,並從 AlphaFold 2 蒸餾擴充了 147 倍訓練資料。在 FoldBench 測試中,它在抗體-抗原等多數蛋白質任務上的表現超過了 AlphaFold 3。

字節跳動釋出 SeedFold:擴大網路寬度與資料蒸餾,多項測試超 AlphaFold 3
圖:seedfold.github.io

SeedFold 是字節跳動 Seed 團隊打造的生物分子結構預測模型,目的是把蛋白質以及各類複合體的三維結構預測得更準、算得更快。

除了完整版的 SeedFold,團隊還做了一個計算效率更高的變體 SeedFold-Linear。在主流基準 FoldBench 的測試裡,這兩個模型在多數蛋白質相關的結構預測任務上都跑贏了 AlphaFold 3。

它是怎麼做到的

傳統的結構預測模型往往卡在表達瓶頸上。字節跳動團隊選擇從三個維度來做擴充套件。

首先是擴大網路寬度。團隊把核心模組 Pairformer 的通道寬度直接從 128 拉大到 512,也就是放大了整整 4 倍。他們發現殘基對特徵的表達維度才是最核心的效能瓶頸,寬網路能直接提升模型理解複雜相互作用的能力,儘管這帶來了視訊記憶體爆炸和訓練不穩定的工程挑戰。

其次是改寫注意力機制。為了解決原有三角注意力機制計算複雜度高達 O(n³) 的問題,團隊提出了兩種線性三角注意力變體,把複雜度成功壓到了 O(n²)。一種是結合常規線性注意力的設計,另一種加入了門控機制來控制資訊流,在 DNA 和 RNA 相關的任務上表現更好。

最後是大力搞資料蒸餾。實驗測定的蛋白質結構資料非常有限,團隊選擇通過 AlphaFold 2 蒸餾構建了一個包含 2650 萬樣本的大規模資料集,把訓練資料量直接擴大了 147 倍。

預測效果怎麼樣

在 FoldBench 基準測試的多項任務中,SeedFold 展現出了很強的競爭力。

在抗體-抗原相互作用(Ab-Ag)測試中,SeedFold 的成功率達到 53.21%,明顯超過了 AlphaFold 3 的 47.90%,也把 Boltz-1(33.54%)和 Chai-1(23.64%)甩在身後。

在單體結構預測(lDDT 指標 0.8889 對 0.88)和蛋白質-蛋白質相互作用(成功率 74.03% 對 72.93%)上,SeedFold 也都略微壓過了 AlphaFold 3。

在蛋白質-小分子配體任務中,輕量版的 SeedFold-Linear 甚至表現更佳,成功率達到 66.48%,高於完整版的 63.12% 和 AlphaFold 3 的 64.90%。不過在蛋白質-DNA 的相互作用預測上,AlphaFold 3 依然以 79.18% 的成功率保持領先。

與此同時,團隊還配套推出了基於全原子從頭蛋白質設計擴散模型 SeedProteo,同樣沿用了類似架構,在 10 個靶點的結合蛋白設計基準上表現優異。

目前該研究已經公佈了 arXiv 論文和專案主頁,論文編號為 2512.24354。

為什麼重要

對於結構生物學和藥物研發領域的研究人員來說,SeedFold 證明了在大語言模型上行之有效的擴充套件法則,在生物分子建模裡同樣有效。通過網路寬度擴充套件和 O(n²) 級別的注意力最佳化,它給高通量複合體預測提供了一條計算代價更低、精度卻更高的路徑。

我們認為,字節跳動 Seed 團隊的做法非常務實。他們沒有盲目從零堆疊昂貴的資料,而是聰明地利用成熟的 AlphaFold 2 做大規模資料蒸餾,再靠工程架構的拓寬來拉昇表現。不過目前該專案主要以論文和主頁形式公開,生物醫藥團隊是否能像使用開源工具一樣無縫接入到現有的藥物篩選管線中,還要看後續完整程式碼和權重的開源落實程度。

來源 (1)

  1. [1]
    seedfold.github.io(在新分頁開啟)原文seedfold.github.io

每日 AI 內容精選