Google 推出表格基础模型 TabFM:无需调参,单次前向完成零样本预测
Google Research 推出表格数据基础模型 TabFM。它将表格预测转为上下文学习任务,完全跳过特征工程与调参,在单次前向传播中完成分类和回归。模型完全由数亿合成数据预训练,已开源并原生接入 BigQuery。
TabFM 是 Google Research 推出的表格数据基础模型,专门用来处理分类和回归预测任务。
以往处理表格数据,工程师总要陷在繁琐的流程里:先清洗数据、手动做特征工程,再反复调整 XGBoost 或随机森林的超参数。TabFM 把这个流程彻底简化了,它不需要针对新表格重新训练权重,你把表格喂给它,模型在单次前向推理中就能直接输出预测结果。
把表格当 Prompt,靠数亿合成数据学会推理
这套机制的核心是把大语言模型的上下文学习(ICL)搬到了表格领域。不过表格和自然语言不同,表格在行与列上都是二维且无序的,随便颠倒两行或两列,数据本身的意思不会变。
为了处理这种二维结构,TabFM 融合了 TabPFN 和 TabICL 的架构长处,设计了一种混合注意力机制。在推理时,它把历史样本行和待预测的目标测试行打包成一个整体上下文,模型在单次计算中直接捕捉列与列、行与行之间的复杂关联。
真实工业表格往往涉及商业隐私,很难凑出足够大的公开预训练集。TabFM 选择完全在数亿个合成数据集上完成预训练。Google 利用结构因果模型生成了具备各种复杂分布的数据,让模型预先掌握了不同变量之间的相互作用,从而能够直接泛化到真实世界的陌生表格上。
表现如何与去哪里用
在包含 38 个分类任务和 13 个回归任务的 TabArena 基准评测中,数据集规模从 700 行跨越到 150000 行。评测结果显示,未经任何针对性微调的 TabFM,其预测表现能直接胜过经过重度参数微调的传统树模型。
目前 TabFM 已经在 GitHub 和 Hugging Face 上完全开放,提供了相关代码与模型资产。
如果你习惯在云端工作,这项能力也已经原生接入了 Google Cloud BigQuery。企业用户不需要搭建复杂的训练流水线,只要在数据仓库里写一行简单的 SQL 查询(AI.PREDICT),就能让模型直接读取表格并返回预测值。
为什么重要
对于每天跟业务数据打交道的数据分析师和工程师来说,TabFM 最大的价值是把原本按小时甚至按天计算的建模周期,压缩到了写一条 SQL 的几秒钟内。遇到临时的数据分析需求、概念验证或是冷启动场景,你完全可以先用它跑一个高质量的预测基准,不再需要从零折腾一整套特征工程管道。
我们认为,这也是表格学习领域一个非常明确的转折点。长期以来,表格数据一直是传统树模型的坚固阵地,深度学习方案往往因为调参成本高、见效慢而难以普及;TabFM 证明了通过精巧的合成数据预训练与上下文学习,基础模型不仅能在准确率上正面硬碰 XGBoost,还能在易用性上带来降维打击。
来源 (1)
- research.google(在新标签页打开)原文research.google