本文创新性地提出了 MuDAF 方法，通过在注意力头层面应用对比-20250221055216

文章预览

2025-02-21 05:52 本条微博链接 本文创新性地提出了 MuDAF 方法，通过在注意力头层面应用对比学习，有效提升了大型语言模型在长上下文多文档问答任务中的性能，揭示了 MDQA 特定检索头的存在，并反直觉地证明了即使是弱注意力头也能通过对比学习得到有效增强，为优化长上下文模型注意力机制提供了新的思路和方法。 ………………………………