基于深度神经网络的表格数据空间编码方法的全面基准测试

《Information Fusion》:A Comprehensive Benchmark of Spatial Encoding Methods for Tabular Data with Deep Neural Networks

【字体: 大 中 小 】 时间:2025年12月30日 来源:Information Fusion 15.5

编辑推荐:

  本文首次系统评估了九种空间编码方法在24个异构表格数据集上的性能,揭示了数据规模与维度(regimes)对模型表现的主导影响,证实转换方法的重要性超越架构选择,并发现混合模型(CNN/ViT+MLP)在小数据场景中优势显著。研究为表格数据视觉化处理提供了标准化基准

  
Jiayun Liu | Manuel Castillo-Cara | Raúl García-Castro
马德里理工大学,西班牙马德里

摘要

尽管深度神经网络在处理感知数据方面取得了成功,但它们在处理表格数据时的表现仍然有限,传统模型在表格数据上的表现仍优于它们。一种有前景的替代方法是把表格数据转换为合成图像,从而可以使用卷积神经网络(CNN)和视觉变换器(ViT)等视觉架构。然而,现有文献缺乏一个大规模、标准化的基准测试来评估这些转换技术。本研究首次对九种空间编码方法在24个不同的回归和分类数据集上的性能进行了全面评估。我们在一个统一的框架下,通过严格的超参数优化,评估了这些方法的性能、可扩展性和计算代价。我们的研究结果表明,性能受到数据特征(样本量N和维度d)的影响,并且转换方法对预测性能的影响显著大于所选择的视觉架构。特别是REFINED方法在各种任务和数据集中都表现出了最强的鲁棒性。混合模型(CNN+MLP、ViT+MLP)能够持续降低预测方差,尤其在数据量较小的情况下具有优势,但作用相对较小。这些发现表明,将表格数据转换为合成图像是一种强大但依赖于数据的策略。该基准测试为研究人员和实践者提供了明确的指导,揭示了可扩展性、转换行为和架构相互作用的关键见解,为未来关于表格数据的空间编码研究建立了全面的参考。

引言

深度学习模型,如卷积神经网络(CNN)和视觉变换器(ViT),在处理图像和文本等非结构化感知数据方面取得了显著的成功[1]、[2]、[3]。然而,将它们应用于表格数据(这种格式在医疗保健、金融等领域广泛使用[4]、[5])仍然是一个重大挑战。表格数据的非空间性、异质性和排列不变性[6]意味着视觉模型的强归纳偏见并不适用。因此,传统的集成方法,特别是梯度提升决策树(GBDT)[7]、[8],往往比DNN表现得更好,因为它们的轴向分割机制更适合这类数据。这种持续的性能差距是一个关键且被广泛记录的问题[6]、[7]、[8]。
最近的努力试图通过将表格数据转换为合成图像来弥合这一差距,从而使CNN和ViT能够处理表格信息[9]、[10]。这种策略被称为空间编码,其核心假设是通过智能地将无序特征重新映射到二维网格上(例如,将相似特征放置在一起[11]、[12]),可以构建出有意义的空间结构。这使得视觉模型的强大归纳偏见能够提取复杂模式[13]、[14]、[15]。已经提出了多种空间编码方法,从复杂的空间编码[11]、[12]和直观的可视化[16]到特定领域的应用[17]、[18]。
尽管这一方法很有前景,但该领域仍然存在碎片化现象,对于这些转换方法“何时”以及“为何”有效缺乏清晰的理解[6]。虽然有全面的调查[7]描述了这一领域的现状,但没有提供实证性能比较。相比之下,个别方法论文通常只是概念验证,证明了在特定领域中的有效性[3]、[17]、[18],但缺乏普遍性。关键的是,目前还没有大规模的研究系统地比较这些竞争性的空间编码方法与强大的经典基准模型。尽管已经探索了混合CNN[19],但对现代视觉变换器(ViT)的系统性评估,无论是作为独立模型还是混合模型(ViT+MLP)配置,仍然是一个重要的且未解决的问题。这一差距经常被指出是该领域进展的主要障碍[5]、[6]、[8],使得实践者难以做出基于证据的决策。
本文直接解决了这一研究空白,首次对表格数据的空间编码方法进行了大规模的系统性基准测试。我们在24个不同的回归和分类数据集上评估了九种代表性的转换方法,包括标准化的OpenML-CC18[20]和CTR23[21]数据集。为了指导我们的研究,我们围绕以下关键研究问题(RQs)构建了系统基准:
RQ1:在不同数据条件下(例如样本量、维度和特征类型组合),空间编码方法的预测性能与强大的经典基准模型相比如何?
RQ2:不同编码家族(参数化与非参数化)的计算代价(例如转换时间、可扩展性)是什么,它们如何影响高维数据的可行性?
RQ3:受多模态学习进展[22]、[23]、[24]启发的现代视觉架构(ViT)和混合模型(ViT+MLP、CNN+MLP)在预测性能或稳定性方面,与独立的视觉模型或经典模型相比有何改进?
RQ4:哪些转换方法和架构最为鲁棒?它们在实际应用中面临的关键挑战和见解是什么(例如处理分类特征)?
本文的其余部分组织如下:第2节提供了结构化的文献综述,将转换技术分为集成型、非参数型和参数型,并阐述了统一基准测试的必要性。第3节正式介绍了所选的空间编码方法并分析了它们的算法复杂性。第4节介绍了实验设计,包括数据集、评估协议和计算工具。第5节报告了四个实验的实证结果,比较了经典模型、深度学习架构和混合网络,并进行了统计显著性测试。第6节对生成的合成图像进行了定性和计算分析。最后,第7节总结了主要发现并概述了未来的研究方向。

相关工作

关于将表格数据转换为合成图像的方法的文献很多,但这些方法可以从两个主要方面进行批判性分析:转换策略(参数化与非参数化)和集成点(预处理与集成)[7]、[25]。

空间编码方法的统一形式化

基于第2节中介绍的方法框架,我们现在提供了所选基于预处理的方法的正式描述。本节的一个关键方法论贡献是为这些技术引入了统一的数学形式化。在现有文献中,许多转换方法要么缺乏正式定义,要么使用不同的符号进行描述,这使得直接比较变得困难。我们的统一框架已在开源库TINTOlib中实现

实验设计和方法论

本节概述了研究中使用的主要工具、数据集、指标和指南。

基准测试评估

本节对将表格数据转换为合成图像的不同机器学习方法和转换技术进行了系统评估。我们分析了经典模型和DNN(即CNN、ViT、CNN+MLP和ViT+MLP)在多个数据集上的性能,强调了各种转换方法的影响。此外,还进行了统计分析以确定

发现与局限性讨论

本节解释了第5节中的基准测试结果。我们首先对合成图像表示进行了定性分析,将它们的视觉特征与观察到的性能联系起来。然后,我们综合定量发现来回答我们的研究问题,并总结了研究的局限性和有效性面临的威胁。
由于这部分文章很长(我用LaTeX编写),我不知道是否可以对其进行压缩。

结论与开放性挑战

本研究对将表格数据转换为合成图像的方法和神经架构进行了系统性的基准测试。通过在统一且严格的超参数优化框架下评估九种转换方法在24个数据集上的表现,我们全面了解了影响性能的因素。
我们的研究发现表明,性能主要受数据特征的影响。在数据稀缺或高维的设置中,神经网络表现优异,而传统模型则不然

CRediT作者贡献声明

Jiayun Liu:概念化、数据管理、形式化分析、研究、方法论、软件、可视化、初稿撰写、审稿与编辑。Manuel Castillo-Cara:概念化、数据管理、形式化分析、研究、方法论、软件、可视化、初稿撰写、审稿与编辑。Raúl García-Castro:概念化、数据管理、形式化分析、研究、方法论、软件、可视化、初稿撰写

CRediT作者贡献声明

Jiayun Liu:审稿与编辑、初稿撰写、可视化、软件、方法论、研究、形式化分析、数据管理、概念化。Manuel Castillo-Cara:审稿与编辑、初稿撰写、可视化、验证、监督、方法论、研究、形式化分析、概念化。Raúl García-Castro:审稿与编辑、初稿撰写、可视化、验证、监督、方法论、研究、资金支持

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号