구글, 테이블 데이터용 파운데이션 모델 'TabFM' 공개: 피처 엔지니어링 없이 제로샷 예측

TabFM은 구글 리서치가 선보인 표(Tabular) 데이터 전용 제로샷 파운데이션 모델로, 분류 및 회귀 예측 작업을 위해 설계됐습니다.

기존에 테이블 데이터를 다룰 때는 XGBoost나 랜덤 포레스트 같은 트리 기반 모델을 위해 수작업 피처 엔지니어링과 하이퍼파라미터 튜닝에 긴 시간을 쏟아야 했습니다. TabFM은 모델 가중치를 다시 학습시킬 필요 없이, 새로운 테이블을 입력받아 단 한 번의 순전파 추론만으로 즉시 예측값을 내놓습니다.

표 데이터를 프롬프트로 처리하는 원리

자연어 처리 모델은 순서가 있는 1차원 시퀀스를 다루지만, 테이블 데이터는 행과 열의 순서를 바꾸어도 본질적인 의미가 변하지 않는 2차원 구조입니다. TabFM은 TabPFN과 TabICL의 장점을 결합한 하이브리드 어텐션 아키텍처를 도입해 이 구조적 특성을 효과적으로 풀어냈습니다.

추론 과정에서는 학습용 기존 데이터 행과 예측 대상인 테스트 행 전체를 단일 프롬프트처럼 묶어 모델에 전달합니다. 모델은 인컨텍스트 러닝을 통해 행과 열 사이의 상호작용을 즉석에서 파악합니다.

실제 기업의 테이블 데이터는 기밀 정보가 많아 사전 학습용으로 대량 수집하기 어렵습니다. 구글은 구조적 인과 모델을 활용해 수억 개의 합성 데이터셋을 동적으로 생성하고, 이를 통해 TabFM을 사전 학습시켰습니다. 그 덕분에 실제 산업 현장의 낯선 데이터에도 유연하게 일반화됩니다.

성능과 활용 방법

700개에서 15만 개 행 규모의 38개 분류 및 13개 회귀 데이터셋으로 구성된 TabArena 벤치마크에서, TabFM은 별도 튜닝 없이도 정밀하게 조정된 기존 트리 기반 지도학습 모델들을 앞서는 성능을 기록했습니다.

현재 TabFM은 깃허브와 허깅페이스에 공개되어 있어 바로 내려받아 테스트할 수 있습니다. 또한 구글 클라우드 빅쿼리(BigQuery)에 기본 통합되어 있어, 복잡한 파이프라인 구축 없이 AI.PREDICT를 활용한 간단한 SQL 쿼리만으로 데이터웨어하우스 내에서 즉시 제로샷 예측을 수행할 수 있습니다.

왜 중요한가

데이터 분석가와 엔지니어 입장에서는 며칠씩 걸리던 피처 가공과 모델 튜닝 과정을 쿼리 한 줄 실행하는 몇 초 수준으로 단축할 수 있습니다. 새로운 데이터 검증이나 빠른 프로토타입 제작, 베이스라인 모델 구축 단계에서 작업 효율을 극대화해 줍니다.

정형 테이블 데이터 분야는 오랫동안 XGBoost 등 트리 알고리즘이 굳건히 지배해 왔고 딥러닝 도입은 번거롭다는 인식이 강했습니다. TabFM은 대규모 합성 데이터와 인컨텍스트 러닝의 결합을 통해, 파운데이션 모델이 편의성은 물론 예측 정확도에서도 기존 트리 모델의 강력한 대안이 될 수 있음을 증명했습니다.