大模型厂商纷纷入局的Prompt Cache技术解析

主要观点总结

本文介绍了Prompt Cache技术，该技术旨在通过重用大型语言模型（LLM）中不同提示之间的注意力状态来加速推理。文章详细描述了Prompt Cache的工作原理，包括如何使用Prompt Markup Language（PML）明确定义可重用的文本段，称为提示模块。文章还介绍了该技术的设计和实现，包括提示模块的编码和缓存推理的详细过程。最后，文章评估了Prompt Cache的性能，并显示了其在减少首次生成token的时间延迟方面的显著效果。

关键观点总结

关键观点1: Prompt Cache技术的目标

通过重用大型语言模型中的注意力状态来加速推理。

关键观点2: Prompt Cache的工作原理

使用Prompt Markup Language（PML）定义可重用的文本段，称为提示模块。通过编码和缓存推理模块的状态来实现加速推理。

关键观点3: Prompt Cache的性能评估

在多个LLM上评估了Prompt Cache，结果显示其显著减少了首次生成token的时间延迟，GPU上的性能提升范围从8倍到60倍，CPU上则高达60倍，同时保持输出准确性。

关键观点4: 设计和实现

包括了对提示结构的明确化、提示模块的编码、以及缓存推理的详细过程。使用HuggingFace的transformers库进行实现，并在CPU和GPU上进行了评估。

文章预览

Prompt Cache技术 ，旨在通过在大型语言模型（LLM）的推理过程中重用不同提示（prompts）之间的注意力状态来加速推理。 图1 比较大型语言模型（LLM）生成Token的方法 ，每种方法展示三个步骤（1至3）。每个框表示一个令牌。蓝色框代表提示。(a) 一个LLM接收一个提示（蓝色令牌）并预测下一个令牌（A）（1）。然后，它将生成的令牌（A）附加到提示上以预测下一个令牌（B）（2）。这个过程被称为自回归，会一直持续直到满足停止条件。(b) KV缓存仅在第一步（1）计算一次提示的时间注意力状态，并在随后的步骤中重复使用它们；(c) Prompt Cache在服务之间重用KV状态以绕过提示注意力计算。当加载一个模式时，Prompt Cache会填充其缓存，并为从模式派生的提示重用缓存状态（1）。图2进一步详细说明了步骤1。 问题识别 ：许多输入提示在结构上高度重叠，例 ………………………………