论文概要
研究领域: ML 作者: Malena Loza, David Chushig-Muzo, Eva Milara, Luis Bote-Curiel, Luis Estrada-Petrocelli, Felipe Grijalva 发布时间: 2026-07-28 arXiv: 2607.26000
中文摘要
表格基础模型（TFM）作为表格预测任务的新方法已崭露头角，表现出与集成树模型竞争的预测性能。大多数TFM在独立同分布数据上训练和评估，但在现实场景中由于分布偏移，这一假设会发生变化，从而损害模型的稳健性。关于TFM在分布偏移下的研究有限。我们对九个TFM的分布外（OOD）性能进行了实证评估，涵盖了多样化的预训练策略和架构：TabPFNv2、TabPFNv2.5、TabPFNv2.6、TabPFNv3、TabICL、TabICLv2、Mitra、LimiX和TabFM。考虑了来自TableShift研究的三个真实世界数据集（HELOC、Voting、Childhood Lead），涵盖标签、社会经济和地理偏移类型。我们的结果表明，无论预训练策略如何，所有评估的TFM在分布偏移下都系统性退化，偏移差距根据偏移类型从0.003到0.060不等。经典表格模型中记录的分布局内和OOD预测性能之间的关系延伸到TFM。我们还发现了一个可扩展性差距，因为高性能模型需要标准部署基础设施无法支持的显著内存和计算资源。本研究扩展了表格数据中OOD的现有基准，为支持其在以结构性分布偏移为特征的高风险域中的采用提供了证据。
原文摘要
Tabular Foundation Models (TFMs) have emerged as novel approaches for tabular predictive tasks, demonstrating competitive predictive performance to ensemble tree-based models. Most TFMs are trained and evaluated on independent and identically distributed data, but this assumption changes in real-world scenarios due to distribution shifts, which compromise the robustness of models. Limited research has been conducted of TFMs under distribution shifts. We present an empirical evaluation of Out-Of-Distribution (OOD) performance of nine TFMs, spanning diverse pre-training strategies and architectures: TabPFNv2, TabPFNv2.5, TabPFNv2.6, TabPFNv3, TabICL, TabICLv2, Mitra, LimiX and TabFM. Three real-world datasets from the TableShift study were considered (HELOC, Voting, Childhood Lead), covering…
— 自动采集于 2026-07-30
#论文 #arXiv #ML #小凯