大模型prompt压缩技术总结：从硬提示到软提示代表方案实现思路

文章预览

今天是2024年11月4日，星期一，北京，天气晴 昨天有说到RAG中的长文本压缩，那么，进一步可以看看方案总结，关于prompt压缩的技术总结，在技术路线上可以分为硬提示和软提示两种路线。 事实上，核心问题是， 我们应该如何去设计一个prompt 压缩算法，从而能够最大化的压缩prompt，同时又不影响LLMs的性能。 这种被压缩的prompt能直接用在下游任务中吗？ 它的泛化性怎么样？ 这些问题，都可以看看技术的技术方案，今天说的方法是个很好的索引，可以收藏后续看。 一、关于prompt压缩的技术总结 可以看看方案总结，《Prompt Compression for Large Language Models: A Survey》，https://arxiv.org/abs/2410.12388V2，可以看看几个看点。 1、提示压缩方法的说明性示例 图1：提示压缩方法的说明性示例。 硬提示方法移除低信息量的语言标记或进行释义以实现简洁。软提示方法 ………………………………