MIT韩松团队提出DuoAttention框架：单GPU实现330万Token上下文推理

主要观点总结

本文介绍了DuoAttention框架，该框架通过分离大语言模型的注意力头为检索头和流式头，提高了长上下文推理的效率，显著减少内存消耗、提高解码和预填充速度，同时保持长短上下文任务的准确性。研究团队包括来自MIT、清华大学、上海交通大学、爱丁堡大学和NVIDIA的成员。文章详细阐述了DuoAttention的工作原理、创新设计、性能与准确率实验、应用场景与未来展望，并介绍了作者信息。

关键观点总结

关键观点1: DuoAttention框架的核心理念和创新设计

通过分离大语言模型的注意力头为检索头和流式头，提高长上下文推理效率。

关键观点2: DuoAttention的性能提升

显著减少内存消耗，提高解码和预填充速度，同时保持长短上下文任务的准确性。

关键观点3: DuoAttention的应用场景

广泛应用于多轮对话系统、长文档处理与摘要生成、视觉与视频理解等需要大规模上下文处理的任务。

关键观点4: 作者介绍

文章的第一作者肖光烜是麻省理工学院电子工程与计算机科学系的三年级博士生，研究方向是深度学习加速，特别是大型语言模型的加速算法设计。

文章预览

©作者 |  肖光烜 单位 |  麻省理工学院博士生 研究方向 |  深度学习加速 TL;DR： DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。 论文标题： DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads 论文链接： https://arxiv.org/abs/2410.10819 Github地址： https://github.com/mit-han-lab/duo-attention 单 GPU 实现 330 万 Token 上下文推理演示视频： 随着大语言模型（Large Language Models，LLMs）在各类任务中的广泛应用，尤其是在长上下文（Long-Context）场景中处理海量文本信息，如何在保证模型性能的同时减少内存和计算成本，成为了一 ………………………………