Google 推出表格基礎模型 TabFM:無需調參,單次前向完成零樣本預測
Google Research 推出表格資料基礎模型 TabFM。它將表格預測轉為上下文學習任務,完全跳過特徵工程與調參,在單次前向傳播中完成分類和迴歸。模型完全由數億合成數據預訓練,已開源並原生接入 BigQuery。
TabFM 是 Google Research 推出的表格資料基礎模型,專門用來處理分類和迴歸預測任務。
以往處理表格資料,工程師總要陷在繁瑣的流程裡:先清洗資料、手動做特徵工程,再反覆調整 XGBoost 或隨機森林的超引數。TabFM 把這個流程徹底簡化了,它不需要針對新表格重新訓練權重,你把表格餵給它,模型在單次前向推理中就能直接輸出預測結果。
把表格當 Prompt,靠數億合成數據學會推理
這套機制的核心是把大語言模型的上下文學習(ICL)搬到了表格領域。不過表格和自然語言不同,表格在行與列上都是二維且無序的,隨便顛倒兩行或兩列,資料本身的意思不會變。
為了處理這種二維結構,TabFM 融合了 TabPFN 和 TabICL 的架構長處,設計了一種混合注意力機制。在推理時,它把歷史樣本行和待預測的目標測試行打包成一個整體上下文,模型在單次計算中直接捕捉列與列、行與行之間的複雜關聯。
真實工業表格往往涉及商業隱私,很難湊出足夠大的公開預訓練集。TabFM 選擇完全在數億個合成數據集上完成預訓練。Google 利用結構因果模型生成了具備各種複雜分佈的資料,讓模型預先掌握了不同變數之間的相互作用,從而能夠直接泛化到真實世界的陌生表格上。
表現如何與去哪裡用
在包含 38 個分類任務和 13 個迴歸任務的 TabArena 基準評測中,資料集規模從 700 行跨越到 150000 行。評測結果顯示,未經任何針對性微調的 TabFM,其預測表現能直接勝過經過重度引數微調的傳統樹模型。
目前 TabFM 已經在 GitHub 和 Hugging Face 上完全開放,提供了相關程式碼與模型資產。
如果你習慣在雲端工作,這項能力也已經原生接入了 Google Cloud BigQuery。企業使用者不需要搭建複雜的訓練流水線,只要在資料倉儲裡寫一行簡單的 SQL 查詢(AI.PREDICT),就能讓模型直接讀取表格並返回預測值。
為什麼重要
對於每天跟業務資料打交道的資料分析師和工程師來說,TabFM 最大的價值是把原本按小時甚至按天計算的建模週期,壓縮到了寫一條 SQL 的幾秒鐘內。遇到臨時的資料分析需求、概念驗證或是冷啟動場景,你完全可以先用它跑一個高質量的預測基準,不再需要從零折騰一整套特徵工程管道。
我們認為,這也是表格學習領域一個非常明確的轉折點。長期以來,表格資料一直是傳統樹模型的堅固陣地,深度學習方案往往因為調參成本高、見效慢而難以普及;TabFM 證明了通過精巧的合成數據預訓練與上下文學習,基礎模型不僅能在準確率上正面硬碰 XGBoost,還能在易用性上帶來降維打擊。
來源 (1)
- research.google(在新分頁開啟)原文research.google