【LLM & 长文本】Infini-attention：高效无限上下文 Transformer

文章预览

一、前言 大型语言模型（LLM）的架构在很大程度上受到了Transformer类型模型中注意力机制的影响。这些机制通过允许模型关注输入序列的相关部分，彻底改变了模型理解和生成文本的方式。然而，随着模型变得更加复杂，并被赋予处理越来越长的序列的任务，它们遇到了诸如注意力窗口和二次复杂度等挑战。为了应对这些挑战，出现了新的解决方案-谷歌的无限注意力（Infini-attention），在克服限制的同时保持效率。目标是通过这篇文章来介绍注意力机制的复杂性，探讨它们面临的问题，并突出无限注意力提出的解决方案。 二、Attention 在像Transformer和基于Transformer的大型语言模型（LLMs）架构，注意力机制在实现文本的上下文理解和生成中起着关键作用。这些机制的核心是能够集中注意力在输入数据的特定部分，通过注意力机制赋予不同元素不同程 ………………………………