专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

提出GemFilter方法,利用语言模型的早期层作为过滤器选择关-20240928060921

爱可可-爱生活  · 微博  · AI  · 2024-09-28 06:09
    

文章预览

2024-09-28 06:09 本条微博链接 提出GemFilter方法,利用语言模型的早期层作为过滤器选择关键词汇输入,实现长序列输入下的高效低内存消耗推理。 [CL]《Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction》Z Shi, Y Ming, X Nguyen, Y Liang, S Joty [University of Wisconsin-Madison Salesforce AI Research] (2024) ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览