比LLMLinggua效果更好的PROMPT-SAW提示感知图压缩技术，我用Python复现

文章预览

点击上方 蓝字 关注我 本文：6400字   阅读17分钟   国内大模型的Token又降价了，或许Prompt的长度可以忽略价格因素，但Prompt上行的时间却是绕不过去的坎。在未来很长一段时间，开发各种AI应用的过程中，Prompt压缩始终是一件你终将要面对的事情。 图片由xiumaodalle生成 现有的压缩冗长提示的尝试导致了在压缩提示的可读性和可解释性方面明显低于标准的结果，对提示实用性具有不利影响。为了解决这个问题，沙特的阿卜杜拉国王科技大学和华南理工、蚂蚁集团、澳门大学、南开大学的研究者提出了PROMPT-SAW（ PROMPT compres S ion via Relation AW are graphs）：利用可感知图进行文本提示压缩，这是一个有效的策略，同样的数据集在压缩率为33.0和56.7的情况下，性能优于基线模型12.3和13.7。 论文并没有给出Github或者任何代码，我尝试用论文给出的算法，用Python ………………………………