文章预览
DQ-LORE: DUAL QUERIES WITH LOW RANK APPROXIMATION RE-RANKING FOR IN-CONTEXT LEARNING [ICLR2024]DQ-LoRe：一种选择上下文学习示例的简单有效方法（没有收Dairy Queen的钱） 近期，大型语言模型（LLMs, Large Language Model）迅猛发展，比如刚刚发布的Claude3，不久前的Mistral Large，通过构造上下文来引导LLMs进行推理已经成为一种标准范式（ICL, In-Context Learning）。尽管现有的很多LLMs已经能够在特定场景下产生质量较高的文本， 它们在处理复杂推理任务时仍然会出现逻辑混乱、回答错误、理解不到位等问题 。 通过ICL来处理这类问题所面临的核心挑战就是如何构造合适的上下文来对大模型进行引导，在本文中作者提出了一个名为DQ-LoRe的方法，通过双重查询和低秩近似重排序来自动选择上下文学习的示例。本文被ICLR 2024接收，代码已开源。 论文链接：https://arxiv.org/pdf/2310.0295
………………………………
