ICML 2024 | 北大、字节提出新型双层位置编码方案，有效改善长度外推效果

文章预览

在这项工作中， 我们利用语言序列的内在分段特性，设计了一种新的位置编码方法来达到更好的长度外推效果，称为双层位置编码（BiPE）。 对于每个位置，我们的 BiPE 融合了段内编码和段间编码。段内编码通过绝对位置编码标识段内位置，并帮助模型捕捉其中的语义信息。段间编码指定段索引，通过相对位置编码建模段间关系，旨在提高外推能力。 理论分析表明，这种位置信息的解耦使学习更加有效。实证结果也表明，我们的 BiPE 在各种文本模态的广泛任务中具有优越的长度外推能力。这一研究已被 ICML 2024 接收。 论文标题： Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation  论文链接： https://arxiv.org/abs/2401.16421 代码链接： https://github.com/zhenyuhe00/BiPE 研究背景 在许多场景中，文本可以有效地分解为模块化的段落，每个段落都表达 ………………………………