ICLR 2025 | 软提示不再是黑箱？浙大、阿里云重塑Prompt调优思路

文章预览

本文深入分析了 prompt tuning 的推理机理，并针对分析结果提出了动态提示扰动的方法，提升 LLMs 在复杂推理任务中的表现。 论文标题： Improving Complex Reasoning with Dynamic Prompt Corruption: A soft prompt Optimization Approach 期刊/会议： ICLR 2025 论文地址： https://arxiv.org/pdf/2503.13208 作者机构： 阿里云智能-飞天实验室 引言 大语言模型（LLMs）可以通过 “思维链（Chain-of-Thought, CoT）” 来解决复杂的推理问题，但对于不同类型的任务，往往需要人工设计的 “提示（prompt）” 来引导 LLMs 进行有效的推理思考。 这些提示，就像是老师在学生解题时给予的微妙提示，能够激发学生的思考，帮助他们找到问题解决的钥匙。 Prompt tuning 通过微调的方法习得这个任务的 Soft Prompt。传统的 Prompt Tuning 方法虽然在常规任务中表现出色，但在复杂推理任务中效果有限，甚至可能降低模 ………………………………