바이트댄스 SeedFold 공개: 대규모 증류와 확장으로 알파폴드3 넘어섰다

SeedFold는 바이트댄스 Seed 팀이 개발한 차세대 생체 분자 구조 예측 모델로, 단백질과 다양한 분자 복합체의 3차원 구조를 더 빠르고 정확하게 예측하기 위해 설계되었다.

기본 모델인 SeedFold 외에도 계산 효율을 끌어올린 경량화 버전인 'SeedFold-Linear'가 함께 제공된다. 공인 벤치마크인 FoldBench에서 두 모델은 대다수 단백질 관련 구조 예측 과제에 걸쳐 알파폴드3를 능가하는 결과를 기록했다.

어떻게 만들었나

연구팀은 구조 예측 모델의 용량 한계를 극복하기 위해 세 가지 차원에서 스케일링을 단행했다.

첫 번째는 네트워크 너비의 확장이다. 핵심 모듈인 Pairformer의 차원 폭을 기존 128에서 512로 4배 넓혔다. 잔기 쌍 표현 차원이 모델 성능의 가장 결정적인 병목이라는 점을 파악하고, 메모리 한계와 학습 불안정성을 엔지니어링 기술로 해결하며 네트워크를 넓혔다.

두 번째는 선형 삼각 어텐션 도입이다. 기존 삼각 어텐션의 O(n³) 연산 복잡도를 O(n²)으로 대폭 낮추는 두 가지 선형 어텐션 변체를 제안했다. 하나는 기존 어텐션의 강점을 살린 선형 구조이며, 다른 하나는 게이팅 메커니즘을 적용해 DNA나 RNA 관련 예측 과제에서 더 우수한 성능을 낸다.

세 번째는 대규모 데이터 증류다. 실험을 통해 확보된 단백질 구조 데이터가 극히 제한적이라는 점을 감안해, 알파폴드2에서 2650만 개 샘플을 증류 추출했다. 이를 통해 기존 실험 데이터 대비 147배에 달하는 대규모 학습 데이터를 확보했다.

성능은 어느 정도인가

FoldBench 평가 결과에서 SeedFold는 뛰어난 벤치마크 수치를 입증했다.

항체-항원(Ab-Ag) 결합 예측 작업에서 SeedFold는 53.21%의 성공률을 기록해 알파폴드3(47.90%)는 물론 Boltz-1(33.54%)과 Chai-1(23.64%)을 큰 차이로 앞질렀다.

단량체 구조 예측(lDDT 0.8889 대 0.88)과 단백질 간 상호작용(74.03% 대 72.93%)에서도 알파폴드3보다 앞섰다. 단백질-리간드 결합 과제에서는 선형 어텐션을 쓴 SeedFold-Linear가 66.48%의 성공률을 보여 알파폴드3의 64.90%를 넘어섰다. 단, 단백질-DNA 상호작용에서는 알파폴드3(79.18%)가 여전히 앞서 있다.

아울러 팀은 동일 아키텍처를 바탕으로 한 전원자 단백질 생성 확산 모델 'SeedProteo'도 함께 공개했다. 현재 논문(arXiv: 2512.24354)과 공식 프로젝트 페이지가 열려 있다.

왜 중요한가

신약 개발과 구조생물학 연구자에게 SeedFold는 대규모 언어 모델의 스케일링 법칙이 분자 구조 예측 분야에서도 완벽히 통한다는 것을 보여준다. 복잡도를 O(n²) 수준으로 낮추면서도 정확도를 높여 대규모 복합체 계산의 장벽을 낮췄다.

연구팀이 알파폴드2를 활용해 2650만 개의 방대한 데이터를 증류하고 모델 너비를 넓혀 성능을 끌어올린 전략은 매우 영리해 보인다. 실제 바이오 연구 현장의 파이프라인에 즉시 녹아들 수 있을지는 향후 가중치와 실행 코드의 전면적인 오픈소스 공개 수준에 달려 있다.