prompt那么长，能不能压缩一下？

文章预览

现在长思考模型助力agent，能够循环进行复杂任务的拆解和执行。为了告诉模型任务和能够调用的工具/当前观察到的信息等，输入prompt也是越来越长，10k甚至更长的输入已经是普遍的状况。虽然推理框架也越来越强，不过本着能省一点是一点想法，prompt压缩也是个值得考虑的方向，特别是在偏垂域的场景。 其实垂域任务的微调也算是prompt压缩的一种。比如对于通用模型，做法是加上任务描述： "判断这段文本的情感类型，正向输出1，负向输出0。{text}" 现在我们直接构造数据对(text, label)，而不需要加额外的任务描述；用这些数据微调模型，让它专注做情感分析。回想一下，这正是Bert的拿手任务。 这相当于把任务描述训进了模型参数中，从而减少了每次的输入文本量，即"判断这段文本的情感类型，正向输出1，负向输出0。"这段文字。 当然这种做法 ………………………………