北大团队提出LIFT：将长上下文知识注入模型参数，提升大模型长文本能力

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 来源 | 机器之心 机构: 北京大学人工智能研究院 北京通用人工智能研究院 作者: 毛彦升 徐宇飞 李佳琪 孟繁续 杨昊桐 郑子隆 王希元 张牧涵 长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。扩充模型的长文本能力不仅意味着可以在上下文窗口中装入更长的文本，更是能够更好地建模文本段落间信息的 长程依赖关系 ，增强对长文的阅读理解和推理。 现有大模型解决长文本任务的难点之一是传统的 dot-product attention 对 ………………………………