SPECACHE 提出了一种新的推测性 KV 缓存方法，通过低比-20250322054723

文章预览

2025-03-22 05:47 本条微博链接 SPECACHE 提出了一种新的推测性 KV 缓存方法，通过低比特 KV 缓存和并行预取，在 VRAM 受限的情况下实现了高效的 LLM 长文本生成，显著降低了 VRAM 需求和推理延迟，为 LLM 的广泛应用提供了更经济高效的解决方案。 [CL]《SpeCache: Speculative Key-Value Caching for Efficient Generation of LLMs》S Jie, Y Ta ………………………………