表格数据的语言建模：基础、技术与演变综述

文章预览

表格数据作为各个领域中广泛存在的数据类型，由于其异质性和复杂的结构关系，带来了独特的挑战。在表格数据分析中实现高预测性能和鲁棒性，对众多应用具有重要意义。受自然语言处理领域近期进展的影响，特别是Transformer架构的影响，表格数据建模的新方法不断涌现。早期技术集中在从头开始训练Transformers，但往往遇到可扩展性问题。随后，利用预训练语言模型（如BERT）的方法得到了发展，这些方法需要较少的数据，并且表现出更好的性能。最近，随着大型语言模型（如GPT和LLaMA）的出现，这一领域发生了进一步的革命，使得仅需最少微调便可实现更先进和多样的应用。 尽管人们对此领域的兴趣日益增长，但关于表格数据语言建模技术的全面综述仍然缺乏。本文填补了这一空白，系统回顾了表格数据语言建模的发展，内容包括：(1) 不同表 ………………………………