Google、表データ向け基盤モデル「TabFM」を発表：特徴量設計なしでゼロショット予測

TabFMは、Google Researchが開発した表データ専用のゼロショット基盤モデルです。分類および回帰タスクを対象としています。

従来の表データ機械学習では、XGBoostなどのアルゴリズムを動かすために、綿密な特徴量エンジニアリングやハイパーパラメータ調整に膨大な時間を費やす必要がありました。TabFMはこれらを完全に省略し、新しいテーブルを入力するだけで、単一のフォワードパス（推論処理）で高精度な予測を出力します。

仕組みと合成データによる学習

大規模言語モデルは1次元の文章を順番に処理しますが、表データは行や列の順序が入れ替わっても意味が変わらない2次元構造を持っています。TabFMは先行研究であるTabPFNやTabICLの長所を融合し、独自のハイブリッドアテンション構造を採用することでこの課題を解決しました。

推論時には、教師データとなる行と予測対象のテスト行をひとつのプロンプトとしてまとめて入力します。モデルは重みを更新することなく、文脈内学習によって列同士や行同士の相関関係を直接読み解きます。

また、実世界の業務データは機密性が高く事前学習に使いにくいため、TabFMは構造的因果モデルを用いて生成された数億件規模の合成データセットのみで学習されています。これにより、未知の多様なデータ分布にも高い汎用性を発揮します。

ベンチマーク結果と利用方法

700件から15万件のデータを含むTabArenaベンチマーク（分類38件、回帰13件）において、TabFMは入念にパラメータ調整された従来の決定木モデルを上回る勝率を記録しました。

現在、TabFMのコードとモデルはGitHubおよびHugging Faceで公開されています。また、Google Cloud BigQueryにもネイティブ統合されており、AI.PREDICTを用いたシンプルなSQL文を実行するだけで、データウェアハウス内で即座にゼロショット予測を実行できます。

なぜ重要か

データサイエンティストやアナリストにとって、これまで数時間から数日かかっていた機械学習モデルの構築作業が、SQLクエリ1行を実行するだけの作業に短縮されます。プロトタイプの作成や初期ベースラインの検証において、非常に強力な選択肢となるはずです。

表データ分析の領域は長らくXGBoostなどの決定木系モデルが独占しており、深層学習は運用の手間に見合わないとされてきました。TabFMは、合成データと文脈内学習の組み合わせによって、基盤モデルが決定木モデルを実用性と精度の両面で凌駕できる可能性をはっきりと示しています。