MIT韩松团队新作DuoAttention：大模型高效推理框架

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer2233，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自：机器之心 本文第一作者肖光烜是麻省理工学院电子工程与计算机科学系（MIT EECS）的三年级博士生，师从韩松教授，研究方向为深度学习加速，尤其是大型语言模型（LLM）的加速算法设计。他在清华大学计算机科学与技术系获得本科学位。他的研究工作广受关注，GitHub上的项目累计获得超过9000颗星，并对业界产生了重要影响。他的主要贡献包括SmoothQuant和StreamingLLM，这些技术和理念已被广泛应用，集成到NVIDIA TensorRT-LLM、HuggingFace及Intel Neural C ………………………………