[CL] GoldFinch: High Performance-20240719055058

爱可可-爱生活 · 微博 · AI · 2024-07-19 05:50

文章预览

2024-07-19 05:50 本条微博链接 [CL] GoldFinch: High Performance RWKV/Transformer Hybrid with Linear Pre-Fill and Extreme KV-Cache Compression 网页链接提出了一种结合线性注意力和全注意力的混合transformer架构GoldFinch，使用关键词压缩技术实现跨长序列高效的全注意力生成。 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

宝玉xp · 提示词（需要参考图）：一张3D Q版图片，画面中是京东CEO刘强-20250429001524

21 小时前

爱可可-爱生活 · 【[536星]VoltAgent/voltagent：开源Typ-20250427150949

2 天前

爱可可-爱生活 · 【[29星]awesome-llm-pretraining：为大-20250426195309

3 天前

机器之心 · 秒杀同行！Kimi开源全新音频基础模型，横扫十多项基准测试，总体性能第一

3 天前

黄建同学 · 针对代码库的Deep Search - DeepWiki可以对任-20250426094110

3 天前

BioArtMED · Leukemia丨高危B细胞急性淋巴细胞白血病（B-ALL）移植后维持治疗领域取得了创新性进展

11 月前

InsDaily优选 · 巴黎世家和支付宝出了款联名衣服？网友夺笋：卖4700缺不缺德啊？

10 月前

中国航空工业集团 · 少年凌云志航空梦启航

7 月前