Google ICML24: 大语言模型自动特征工程显著提升预测任务效果

文章预览

大型语言模型(Large Language Models, LLMs)以其卓越的能力解决具有挑战性和前所未见的推理问题,在表格学习领域展现出巨大潜力,这对于许多现实世界应用至关重要。在本文中,我们提出了一种新颖的上下文学习框架FeatLLM,它使用LLM作为特征工程师,生成最适合表格预测的输入数据集。生成的特征用于通过简单的下游机器学习模型(如线性回归)推断类别可能性,并实现高性能的少量样本学习。提出的FeatLLM框架仅在推理时使用这些简单的预测模型和发现的特征。与现有的基于LLM的方法相比,FeatLLM消除了在推理时为每个样本向LLM发送查询的需要。此外,它只需要对LLM的API级访问,并克服了提示尺寸限制。正如在来自广泛领域的众多表格数据集上所展示的,FeatLLM生成高质量的规则,显著(平均提高了10%)优于TabLLM和STUNT等替代方案。 我们翻译解读最新论文：大型语言模型可 ………………………………