NeurIPS 2024 | 阿里云提出个性化提示策略IAP，突破大语言模型零样本推理局限

主要观点总结

本文介绍了大语言模型（LLMs）通过“思维链（Chain-of-Thought, CoT）”解决复杂推理问题的方法，并探讨了不同任务级别的提示（prompt）对LLMs推理的影响。文章通过实例自适应提示策略（IAP）的选择，提高了LLMs的推理能力，并在不同模型和任务上进行了实验验证。

关键观点总结

关键观点1: LLMs通过“思维链（CoT）”解决复杂推理问题。

大语言模型（LLMs）可以使用不同的提示来引导有效的推理思考，这些提示就像是老师在解题时给学生的微妙提示，能够激发思考并找到问题解决的路径。

关键观点2: 实例自适应提示策略（IAP）的重要性。

每个问题都有其独特性，没有任何一个任务级别的提示能够适用于所有问题。因此，需要为每个问题找到特定的提示来激发LLMs的推理潜能。本文通过实例自适应提示策略实现了这一目标。

关键观点3: 通过信息流分析理解LLMs的推理机制。

文章采用信息流分析的方法，通过显著性分数来分析模型内部的工作机制，包括信息如何在模型的不同层和头之间流动，以及这些流动如何影响最终的推理结果。

关键观点4: IAP策略的实现方法和效果。

研究者们提出了两种IAP策略的实现方法：顺序替换和多数投票。实验结果显示，IAP策略在各种任务和模型上均取得了一致的性能提升，与任务级别的最优提示相比，准确率平均提升了2%-4%。

文章预览

©PaperWeekly 原创 · 作者 |  苑小松 单位 |  吉林大学、阿里云飞天实验室 研究方向 |  大语言模型 论文地址： https://arxiv.org/abs/2409.20441 作者单位： 阿里云智能-飞天实验室 收录会议： NeurIPS 2024 引言 大语言模型（LLMs）可以通过“思维链（Chain-of-Thought, CoT）” 来解决复杂的推理问题，但对于不同类型的任务，往往需要人工设计的 “提示（prompt）” 来引导 LLMs 进行有效的推理思考。 这些提示，就像是老师在学生解题时给予的微妙提示，能够激发学生的思考，帮助他们找到问题解决的钥匙。合适的 prompt 能够引导 LLMs 沿着正确的路径推理，而不合适或过于宽泛的 prompt 则可能导致 LLMs 误入歧途，最终得到错误的结论。 Zero-shot CoT 的研究发现：不同的 prompt 在不同任务上表现差异巨大，因此应该选择更适合特定任务的 prompt 来发挥 LLMs 的潜力。然而，“ ………………………………