《深度表格学习综述》

文章预览

表格数据广泛应用于医疗、金融、交通等行业，但由于其异构性和缺乏空间结构的特性，给深度学习带来了独特的挑战。本综述回顾了用于表格数据的深度学习模型的演变，从早期的全连接网络（FCN）到先进的架构，如TabNet、SAINT、TabTranSELU和MambaNet。这些模型结合了注意力机制、特征嵌入和混合架构，以应对表格数据的复杂性。TabNet通过顺序注意力机制进行逐实例的特征选择，提高了模型的可解释性；而SAINT结合了自注意力机制和样本间注意力机制，捕捉特征和数据点之间的复杂交互，从而在提高可扩展性的同时减少计算开销。混合架构如TabTransformer和FT-Transformer将注意力机制与多层感知机（MLP）结合，处理类别和数值数据，其中FT-Transformer专门为表格数据集调整了Transformer模型。研究仍在继续，以在大规模数据集上平衡性能和效率。基于图的模型如 ………………………………