大语言模型中上下文长度扩展技术的内容、原因和方式-综述

文章预览

24年1月阿联酋科技创新研究院、孟加拉国伊斯兰科技大学、斯坦福大学、亚马逊公司和南卡大学AI研究院的论文“The What, Why, and How of Context Length Extension Techniques in Large Language Models – A Detailed Survey“。 LLM通常面临上下文长度外推方面的限制。理解和扩展LLM的上下文长度对于提高其在各种 NLP 应用程序中的性能至关重要。该综述深入探讨了其多方面问题，以及可能给 NLP 应用带来的潜在转变。研究延长上下文长度相关的固有挑战，并对现有策略进行概述。还讨论评估上下文扩展技术的复杂性，并强调该领域面临的开放挑战。此外，探讨研究界是否就评估标准达成共识，并确定需要进一步达成一致的领域。 如图是LLM中上下文长度扩展技术的分类。该图将这些技术分为插值和外推，其中它们进一步分为零样本和微调分支。在上下文长度扩展领域，基于位 ………………………………