主要观点总结
本文介绍了针对大型语言模型（LLM）上下文长度扩展的问题，提出了一种新的方法CREAM。该方法通过操纵位置索引来插入位置编码，能够在预训练的上下文窗口进行微调，并将LLM扩展到更长的目标上下文长度。为了缓解长上下文LLM面临的“Lost-in-the-Middle”问题，引入了截断高斯来鼓励从上下文的中间部分进行采样。实验结果表明，该方法成功扩展了LLaMa2-7B base 和 chat，并实现了“Never Miss A Beat”。
关键观点总结
关键观点1: 文章介绍了LLM上下文长度扩展的问题和现有方法的局限性。
许多下游应用需要处理更长的上下文，而现有方法在目标长度进行微调时存在计算开销大、难以有效利用中间信息等问题。
关键观点2: 文章提出了CREAM方法，通过操纵位置索引来插入位置编码。
CREAM具有简单性和训练效率，只需要在预训练的上下文窗口进行微调，并将LLM扩展到更长的目标上下文长度。
关键观点3: 文章通过引入截断高斯来缓解“Lost-in-the-Middle”问题。
通过鼓励从上下文的中间部分进行采样，使LLM更多地关注中间位置的信息，从而缓解长上下文LLM面临的“Lost-in-the-Middle”问题。
关键观点4: 文章进行了实验验证，证明了CREAM方法的有效性。
实验结果表明，CREAM方法成功扩展了LLaMa2-7B base 和 chat，并实现了“Never Miss A Beat”，同时在其他性能指标上也有显著的提升。
关键观点5: 文章介绍了投稿通道，鼓励原创内容分享。
PaperWeekly提供投稿通道，让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本。
文章预览
©PaperWeekly 原创 · 作者 | 吴桐 单位 | 北京通用人工智能研究院 最近，已经开发出许多方法来扩展预训练的大型语言模型（LLM）的上下文长度，但它们通常需要在目标长度（>4K）进行微调，并且难以有效利用来自上下文中间部分的信息。 为了解决这些问题，我们提出了 CREAM （ C ontinuity- R elativity ind E xing with g A ussian M iddle），它通过操纵位置索引来插入位置编码。除了简单之外，CREAM 还具有训练效率：它只需要在预训练的上下文窗口（e.g., LLaMa 2-4K）进行微调，并且可以将 LLM 扩展到更长的目标上下文长度（e.g., 256K）。 为了确保模型更多地关注中间的信息，我们引入了一个截断高斯来鼓励在微调过程中从上下文的中间部分进行采样，从而缓解长上下文 LLM 面临的 “Lost-in-the-Middle” 问题。实验结果表明，我们的方法成功扩展了 LLaMa2-7B base 和 chat，
………………………………
